Вопрос или проблема
Недавно я занимаюсь обнаружением аномалий, одним из методов является использование модели АЕ для изучения паттерна нормальных образцов.
Определите его как аномальный образец, если он не соответствует паттерну нормальных образцов.
Я обучаю АЕ без меток, но нам нужно использовать «метку», чтобы определить, какой образец нормальный, а какой аномальный.
Мне интересно, какой тип обучения у этого метода: обученное с учителем, полунатурное обучение или обучение без учителя?
Использование АЕ для обнаружения аномалий основано на предположении, что мы можем изучить нелинейное представление данных в более низких измерениях. Поскольку количество нормальных точек значительно больше, чем количество выбросов, процесс обучения определяется нормальными данными. Обученная сеть сосредоточена на минимизации ошибки реконструкции нормальных точек, что приводит к более высокой ошибке реконструкции для выбросов, которые могут быть использованы в качестве оценок выбросов.
В общем, АЕ может обнаруживать аномалии неупорядоченным образом. Вы можете сделать это легко с помощью инструментария Python Outlier Detection (PyOD). Пример АЕ представлен здесь.
Это зависит от алгоритма, который вы выберете для вашего набора данных. Обнаружение аномалий может быть выполнено с использованием всех трех типов алгоритмов, и выбор алгоритма зависит от набора данных и области.
Обучение с учителем – Если ваш набор данных имеет хорошее распределение образцов для нормальных данных и аномальных данных, тогда вы можете использовать класс алгоритмов с учителем, таких как классификаторы CNN и т. д.
Полунатурное – Если ваш набор данных имеет хорошее распределение нормальных данных, но не аномальных, тогда вы можете использовать полунатурные данные. В этом подходе вы обучаете модель на нормальных данных и получаете оценку аномалии о том, насколько фактические данные отклоняются от нормальных данных. Примером могут служить AnoGAN или DCNN на основе завершения изображений и т. д.
Без учителя – Если ваш набор данных не имеет хорошего распределения как для нормальных, так и для аномальных данных, тогда вы можете рассмотреть алгоритмы кластеризации и посмотреть на те кластеры, которые имеют мало членов.
Обучение с учителем – это когда ваша модель обучается на хорошо помеченном наборе данных. Под хорошо помеченным набором данных я имею в виду, что каждая строка классифицирована в класс. Модель изучает паттерны из этого набора данных и делает предсказание. Один из недостатков обучения с учителем заключается в том, что оно принимает решение, основываясь только на паттернах, которые она видела в обучающем наборе данных.
Обучение без учителя является противоположностью обучению с учителем. У вас есть набор данных, но вы не знаете ничего о классах набора данных. В этом случае вы пытаетесь идентифицировать паттерны в наборе данных и пытаетесь сгруппировать одинаковые паттерны вместе, и кластер формирует класс. Количество кластеров зависит от ученого данных и данных.
Алгоритмы полунатурного обучения обучаются на комбинации помеченных и непомеченных данных. Это полезно по нескольким причинам. Во-первых, процесс пометки огромного количества данных для обучения с учителем часто является чрезмерно затратным по времени и деньгам. Также, если данные помечены людьми, это может содержать предвзятость нашего суждения.
Обнаружение аномалий относится к обучению без учителя и полунатурному обучению, поскольку невозможно, чтобы все аномалии были помечены в вашем обучающем наборе данных. Существуют несколько методов для достижения этого, начиная от статистики и заканчивая машинным обучением и глубоким обучением. Для получения более подробной информации об этих вопросах обратитесь по следующей ссылке https://www.datascience.com/blog/python-anomaly-detection.
Ответ или решение
Аномальное обнаружение является важной задачей в области анализа данных, требующей применения различных подходов к обучению машинных моделей. В данном контексте, когда речь идет о применении автоэнкодеров (АE) для обучения на нормальных образцах и определения отклонений от них, необходимо разобраться, какой тип обучения наиболее подходит: supervised (супервизионное), semi-supervised (полусупервизионное) или unsupervised (несупервизионное).
1. Супервизионное обучение (Supervised Learning)
Супервизионное обучение предполагает наличие хорошо размеченного набора данных, где каждый образец атрибутирован, то есть классы нормальных и аномальных образцов известны. Модели обучаются на этих данных, извлекая паттерны и создавая предсказания. Однако, эта методология сталкивается с ограничениями в контексте аномального обнаружения, поскольку создание полномасштабной разметки для аномальных данных является дорогим и времязатратным процессом. В случае, когда данные аномалий составляют меньшинство, их размечивание становится нецелесообразным.
2. Полусупервизионное обучение (Semi-Supervised Learning)
Полусупервизионное обучение базируется на использовании как размеченных, так и неразмеченных данных. Это метод оптимален, если у вас есть достаточно нормальных данных, но очень мало аномальных. В этом случае модель обучается на нормальных данных, создавая представление того, что «нормально», и затем используется для оценки отклонений. Как вы правильно отметили, примеры таких подходов включают в себя алгоритмы такие как AnoGAN или DCNN для восстановления изображений.
3. Несупервизионное обучение (Unsupervised Learning)
Несупервизионное обучение используется в тех случаях, когда у вас нет размеченных данных ни для нормальных, ни для аномальных образцов. В таких случаях модели стремятся выявить структуры и кластеры в данных, которые могут сигнализировать о наличии аномалий. Например, автоэнкодеры могут быть обучены без использования меток, а затем применены для определения аномалий на основании ошибки восстановления. Это и есть основная идея, лежащая в основе вашего применения AEs для выявления аномалий.
Заключение
Таким образом, использование автоэнкодеров для обнаружения аномалий соответствует, в первую очередь, несупервизионному обучению. Однако в зависимости от доступности и характера ваших данных, вы также можете рассмотреть полусупервизионные подходы, если имелись бы хотя бы некоторые размеченные аномалии.
Аномальное обнаружение как задача требует гибкости в выборе метода, и успешный результат зачастую зависит от характеристик вашего набора данных и специфики домена. Понимание различных подходов к обучению позволит вам наиболее оптимально адаптировать вашу модель под конкретные условия и увеличить ее эффективность.
Для более глубокого понимания методов аномального обнаружения, рекомендуется ознакомиться с материалами, представленными на datascience.com.