Модели машинного обучения LGBM – несбалансированные классы

Вопрос или проблема

.

Ответ или решение

При работе с моделью LGBM (Light Gradient Boosting Machine) для бинарных ответов с несбалансированными классами, возникает вопрос о применении техники SMOTE (Synthetic Minority Over-sampling Technique) до или после устранения переменных, коррелирующих друг с другом. Этот вопрос требует детального рассмотрения, учитывая теоретическую основу, практические примеры и конкретные рекомендации для приложений.

Теория

LGBM является одной из самых мощных технологий градиентного бустинга, особенно эффективной при работе с крупномасштабными и сложными датасетами. Одним из её главных преимуществ является способность хорошо работать с несбалансированными данными. Однако, степень несбалансированности может быть настолько значительной, что применение методов предварительной обработки данных, таких как SMOTE, становится необходимым для улучшения качества модели.

SMOTE — это метод синтетического увеличения выборки, который создает новые искусственные примеры меньшего (миноритарного) класса, чтобы сбалансировать пропорцию наблюдений в выборке. Теоретически, это может помочь модели лучше понять нюансы миноритарного класса.

Корреляция между переменными, с другой стороны, может создать излишнюю избыточность в данных. Это может привести к тому, что модель будет давать чересчур оптимистичные предсказания, основанные на ложных предпосылках, если связанных переменных слишком много.

Пример

В качестве примера рассмотрим датасет по выявлению мошеннических транзакций. Допустим, что база данных содержит 100,000 законных транзакций и только 1,000 мошеннических. Используя SMOTE, мы можем создать дополнительные примеры мошеннических операций, чтобы приблизить размеры классов друг к другу.

Однако если не учесть корреляцию между переменными, такие как сумма транзакции и время транзакции, это может осложнить процесс обучения. Например, если данные содержат несколько высококоррелированных признаков, таких как "Сумма транзакции в долларах" и "Сумма транзакции в евро", модель может принять решение, основываясь на ложных паттернах, возникающих из-за коррелированности данных, а не из-за истинных характеристик транзакций.

Применение

Следуя из приведенного теоретического материала и примера, возникает вопрос: когда же следует применять SMOTE — до или после устранения коррелированных переменных?

• Применение SMOTE перед устранением коррелированных переменных: Это может быть полезно, если в исходных данных присутствуют особо важные, но малочисленные наблюдения, так как это позволит сохранить больше информации. Метод также может помочь при обучении модели, особенно если несбалансированность между классами значительная.

• Применение SMOTE после устранения коррелированных переменных: Это позволяет избежать избыточности в синтетически увеличенных данных. Устранение коррелирующих переменных до применения SMOTE способствует большей стабильности модели, так как она обучается на более устойчивом и менее избыточном наборе данных.

На практике, подход к решению задачи с применением SMOTE сильно зависит от конкретного набора данных и цели исследования. Поэтому рекомендуется:

1. Оценить степень корреляции между переменными используя корреляционную матрицу.
2. Устранить те переменные, которые находятся в высокой корреляции друг с другом, чтобы исключить избыточную информацию.
3. Провести анализ на предмет необходимости применения SMOTE с пониманием того, что он может искажения внести в данные, если для класса "объектов" уже есть коррелирующая информация.
4. Провести кросс-валидацию модели для оценки её эффективности как перед применением SMOTE, так и после, чтобы понять наилучшее время для его применения.

Таким образом, стратегия применения SMOTE зависит от специфики задачи и предпочтений команды аналитиков. Это требует тщательного анализа и различных экспериментов, чтобы найти наиболее оптимальное решение, обеспечивающее баланс между точностью и устойчивостью модели.