Вопрос или проблема
В отличие от вопросов, подобных этому, где медленная тренировка SVM является результатом большого количества образцов, у меня всего около 500 образцов. Тем не менее, одна итерация обучения (кросс-валидация) занимает несколько минут – это в 100-1000 раз больше времени, необходимого по сравнению с другими итерациями. В частности, это происходит только с kernel="poly", когда у меня меньше 10 признаков (при этом 5 значительно хуже, чем 10). Когда у меня есть 12 или более признаков, эта проблема полностью исчезает. Возможно, я что-то упускаю, но почему такое низкое количество признаков (для полиномиального ядра) оказывает такое негативное влияние? Может быть, это интересно узнать: эти очень медленные сходимости требуют множества итераций – я обнаружил, что если я установлю max_iter=int(1e6), например, я получаю результаты примерно за 10 секунд, но с предупреждением о преждевременной остановке.
.
Ответ или решение
Обучение модели OneClassSVM с ядром poly может часто вызывать проблемы с производительностью, особенно в условиях, описанных вами. Давайте разберемся, почему это может происходить, и какие меры можно предпринять для оптимизации процесса.
Теоретический аспект
OneClassSVM — это метод, основанный на обучении одной или нескольких гиперплоскостей, отделяющих данные от гипотетического начала координат в высокоразмерном пространстве. Ядро poly (полиномиальное) приводит к трансформации исходного пространства признаков в пространство более высокой размерности, что позволяет модели находить более сложные разделяющие гиперплоскости.
При использовании полиномиального ядра, особенно в низкоразмерных пространствах с количеством признаков менее 10, сложность вычислений значительно возрастает. Это связано с экспоненциальным ростом количества параметров, которые необходимо оценить. В вашем случае, наличие малого количества признаков приводит к формированию большого количества взаимодействий между ними, что в свою очередь усложняет оптимизацию модели.
Пример
Предположим, у вас есть набор данных с 5 признаками. Полиномиальное ядро степени 2 создаёт трансформацию, в которой учитываются все пары признаков, квадраты каждого из признаков и постоянный член. Это резко увеличивает сложность целевой функции, которую алгоритм пытается минимизировать.
Проблема усугубляется, когда число итераций, необходимых для нахождения оптимального решения, увеличивается. Как вы заметили, увеличение max_iter лишь облегчает проблему, предупреждая преждевременную остановку, но тем не менее указывает на сложность достижения сходимости.
Применение на практике
Теперь, когда мы понимаем причины замедления, давайте рассмотрим несколько шагов, которые могут помочь в оптимизации обучения:
-
Подбор параметров ядра. Возможно, использование более низкого значения степени полинома (
degree) уменьшит вычислительную нагрузку. Проведите эксперименты с меньшими значениями и оцените, как это влияет на качество модели. -
Предобработка данных. Попробуйте нормализовать или стандартизировать данные перед обучением модели. Это может помочь улучшить сходимость за счет уменьшения численной нестабильности.
-
Рассмотрите альтернативные ядра. Хотя полиномиальное ядро дает большую гибкость, возможно, другие ядра, такие как
rbf(радиально-базисные функции), могут дать сопоставимое качество модели без значительного увеличения времени вычислений. -
Понижение размерности. Применение методов понижения размерности (например, PCA) может уменьшить сложность дальнейших вычислений, даже если первоначально кажется, что ваш набор признаков недостаточно велик.
-
Анализ сходимости. Поскольку вы заметили, что увеличение
max_iterпомогает, попробуйте также экспериментировать с параметрамиtol(допуск) иnu. Настройка этих параметров может позволить модели более быстро находить приемлемое решение без необходимости дополнительного увеличения итераций. -
Поиск альтернативных методов. Если скорость работы OneClassSVM с полиномиальным ядром не приемлема, рассмотрите возможность использования других методов аномального обнаружения, которые могут быть более эффективными при работе с малыми признаковыми пространствами.
В заключение, медленное обучение OneClassSVM с полиномиальным ядром в низкоразмерных пространствах — это типичная проблема, связанная с высокой сложностью допустимых решений и увеличением вычислительной нагрузки. Оптимизация может быть достигнута через корректировку параметров модели, предобработку данных и рассмотрение альтернативных методов распознавания.