Почему моя ошибка на стадии валидации может перестать снижаться, в то время как ошибка на стадии обучения продолжает уменьшаться?

В своем стремлении узнать немного больше о науке о данных, я извлек из интернета некоторые размеченные данные и пытаюсь классифицировать примеры на один из трех классов. Я сталкиваюсь с проблемой, что независимо от того, какую модель я пробую, моя валидационная потеря выравнивается, в то время как моя обучающая потеря продолжает уменьшаться (см. график ниже).

Несколько потенциально важных замечаний:

• У меня есть около 15,000 (3,000) обучающих (валидационных) примеров.
• Метки примерно равномерно распределены и стратифицированы для обучающего и валидационного наборов (класс 1: 35%, класс 2: 34%, класс 3: 31%).
• У меня есть 73 признака, состоящих из: 10 числовых признаков, 8 категориальных признаков, которые преобразуются в 43 одноразовых кодированных признака, и 20-мерное текстовое встраивание.
• Я получаю аналогичные результаты, если применяю PCA к этим 73 признакам (ещё 99% дисперсии сокращает число признаков до 22).
• График, показанный здесь, использует XGBoost.XGBClassifier с метрикой ‘mlogloss’, с следующими параметрами после RandomizedSearchCV: ‘alpha’: 7.13, ‘lambda’: 5.46, ‘learning_rate’: 0.11, ‘max_depth’: 7, ‘n_estimators’: 221
• Я получаю аналогичные результаты, используя базовую нейронную сеть с плотными и Dropout слоями.
• Лучшая модель, которой я достиг, получает только около 66% точности на моем валидационном наборе данных при классификации примеров (и 99% на моих обучающих примерах).
• Признаю, что мое текстовое встраивание может быть не великолепным (используя gensim’s fasttext), но это также наиболее важный признак, когда я использую функцию plot_importance Xxgboost. Однако я сталкивался с аналогичной проблемой даже до того, как добавил текстовое встраивание.

Это совершенно нормально и отражает фундаментальное явление в науке о данных: переобучение. Когда валидационная потеря перестает уменьшаться, в то время как обучающая потеря продолжает уменьшаться, ваша модель начинает переобучаться. Это означает, что модель начинает слишком сильно привязываться к обучающему набору и теряет свою способность к обобщению. Например, модель может научиться распознавать шум, присутствующий в обучающем наборе, как если бы это был релевантный признак.

Когда вы обучаете свою модель, вы должны следить за валидационной потерей и останавливать обучение, когда валидационная потеря перестает существенно уменьшаться. Также именно за валидационной потерей следует следить при настройке гиперпараметров или сравнении различных стратегий предварительной обработки.

Наблюдаемые из графика:
(1) Обе потери высоки, что указывает на то, что модель не многому научилась из данных.

Возможные причины:
(1) модель либо слишком большая, либо маленькая (2) плохое качество данных (например, слишком сложные данные, слишком много шума, данные мусорного качества) (3) обучение и тестирование имеют разные распределения.

Я бы начал с обучения на большем количестве эпох, чтобы увидеть, не выравнивается ли обучающая потеря на высоком уровне или нет. (A) Если обучающая потеря остается высокой, это указывает на проблему смеси высокого смещения и дисперсии => Попробуйте увеличить сложность модели, что может снизить валидационную потерю. Затем улучшите качество признаков для уменьшения обеих потерь. (B) Если обучающая потеря низкая, это переобучение => Попробуйте уменьшить размер модели и повысить качество данных. (В глубинном обучении я видел сценарии, когда обучающая потеря сначала падает, в то время как валидационная остается на одном уровне в течение многих эпох, прежде чем начнет уменьшаться. Однако я не видел такого образца в моделях XGBoost.)

Инженерия признаков:
Я бы поэкспериментировал с использованием DNN для встраивания данных и XGBoost для остального (параллельно или стек). И провел бы больше работы с признаками в табличных данных.

Надеюсь, это поможет.