Вопрос или проблема
Вопрос:
Кто-нибудь знает о публично доступном пакете Python для крупномасштабных SVM? Спасибо!
Почему на вопрос следует ответить:
Как было отмечено (например, здесь), задача SVM может быть вычислительно затратной при большом объеме данных. Тем не менее, исследователи предложили множество обходных решений. Например,
- Страница Википедии о SVM ссылается на статью Метод двойного градиентного спуска для крупномасштабных линейных SVM, которая, похоже, должна быть очень эффективной.
- Статья Использование метода Нистрёма для ускорения работы ядерных машин предлагает способ вычисления ядра матрицы за время менее кубического (хотя, по моим оценкам, стоимость их метода все еще квадратичная, а не линейная по $n$, как утверждает статья…)
- Простой поиск в Google по запросу “крупномасштабный SVM” возвращает более новую статью Рецепт быстрого крупномасштабного обучения SVM: полировка, параллелизм и больше оперативной памяти!, наряду с множеством других (другой хороший запрос в Google – “крупномасштабная квадратичная программа”).
Как подразумевают эти статьи, SVM действительно могут работать с большими наборами данных. На мой взгляд, утверждать иначе было бы все равно что говорить: “нейронные сети не работают с большими наборами данных, потому что полное градиентное спускание по мини-батчам вычислительно неосуществимо.” Скорее, предложено множество обходных решений как для крупномасштабных нейронных сетей, так и для крупных SVM.
Похоже, что библиотеки с открытым исходным кодом ML реализуют многие такие обходные решения для нейронных сетей (например, вы можете использовать мини-батч SGD с помощью Pytorch), но не имеют таких реализаций для SVM (например, мне не известна реализация алгоритма градиентного спуска в Pytorch, описанная в упомянутой выше статье 2008 года). Это действительно кажется мне “недостающей функцией” в основных библиотеках машинного обучения. Поэтому мой вопрос. Спасибо еще раз!
Библиотека sklearn имеет реализацию градиентного спуска для классификатора и регрессора с поддерживающими векторами.
Классификатор – SGDClassifier(loss="hinge", ...), а регрессор – SGDRegressor(loss="epsilon_insensitive", ...).
Существуют и другие варианты для loss=, которые связаны с SVM. Вы также можете выбрать loss=, который дает другую модель, например, логистическую регрессию. Объединяющим фактором является то, что все конфигурации используют градиентный спуск.
LinearSVC() и LinearSVR – это другие доступные варианты в sklearn для линейных SVM, которые эффективно масштабируются.
sklearn также имеет аппроксимации ядер, которые вы можете использовать для этих моделей, чтобы получить некоторые из нелинейных свойств, присущих ядерным функциям.
Этот ответ содержит еще несколько деталей о том, как ускорить процесс. Страница sklearn также содержит рекомендации по использованию.
Для больших и сложных наборов данных я думаю, что есть большая склонность использовать другие модели, такие как случайные леса.
Ответ или решение
Вопрос: Существуют ли реализации Large-Scale SVM с открытым исходным кодом?
В последние годы помогает большое количество открытых инструментов и библиотек, которые обеспечивают реализацию поддержки векторных машин (SVM) для работы с большими наборами данных. Даже несмотря на то что SVM традиционно считаются вычислительно затратными при увеличении размера выборки, существуют способы, позволяющие сделать их более эффективными.
Открытые библиотеки для Large-Scale SVM
-
Scikit-learn
- SGDClassifier и SGDRegressor: В библиотеке Scikit-learn имеется реализация метода стохастического градиентного спуска (SGD) для классификации и регрессии, которые работают по принципу "hinge" для SVM. Эти классы, такие как
SGDClassifier(loss="hinge")иSGDRegressor(loss="epsilon_insensitive"), могут обрабатывать большие объемы данных, используя подвыборки для каждой итерации. - LinearSVC и LinearSVR: Для линейных SVM достаточно эффективно реализованы задачи классификации и регрессии с помощью классов
LinearSVC()иLinearSVR(), которые эффективнее работают с большими наборами данных по сравнению с традиционными SVM.
- SGDClassifier и SGDRegressor: В библиотеке Scikit-learn имеется реализация метода стохастического градиентного спуска (SGD) для классификации и регрессии, которые работают по принципу "hinge" для SVM. Эти классы, такие как
-
Kernel Approximation: Scikit-learn также предлагает методы для приближения ядерных функций, что может помочь в увеличении масштабируемости не только в линейных моделях, но и в более сложных задачах. Это позволяет использовать стохастический градиентный спуск с дополнительными ядерными трансформациями.
-
LIBSVM и LIBLINEAR: Эти библиотеки также широко используются для реализации SVM. LIBLINEAR, в частности, предназначен для решения больших объемов данных, благодаря использованию специальных алгоритмов, позволяющих значительно сократить время обучения.
-
ThunderSVM: Это современная библиотека, которая специализируется на SVM. Она использует графические процессоры (GPU) для масштабируемых задач SVM, обеспечивая значительно большую скорость работы на больших данных по сравнению с традиционными реализациями.
-
c-SVM: Еще одной альтернативой является c-SVM, предназначенная для распределенных систем. Она использует преимущества распределенных вычислений для решения задач SVM, особенно полезна при обработке больших наборов данных.
Оптимизация использования SVM для больших данных
Когда речь идет о больших объемах данных, важно не только выбрать правильный инструмент, но и понимать основные стратегии оптимизации. Вот несколько рекомендаций:
- Подбор гиперпараметров: Используйте кросс-валидацию для тщательной настройки гиперпараметров, таких как регуляризация и параметры ядра. Это поможет улучшить обобщающую способность модели.
- Аппаратное ускорение: Рассмотрите возможность использования вычислительных ресурсов на базе GPU, чтобы значительно ускорить процесс обучения.
- Предварительная обработка данных: Убедитесь, что данные предобработаны должным образом. Меньшие масштабируемые наборы данных могут уменьшить исследуемый подмножество, что может быстро повлиять на производительность.
В заключение, существуют несколько открытых реализаций SVM, которые подходят для крупных наборов данных. Библиотеки, такие как Scikit-learn и ThunderSVM, предлагают продвинутые методы для эффективной работы с SVM. Эти инструменты дают возможность изучать, обучать и внедрять модели машинного обучения, даже когда данные становятся очень большими.