Вопрос или проблема
Работаю над проектом по прогнозированию количества медалей, которые страна выиграет на Олимпиаде 2028 года. Я использую набор данных, похожий на тот, с которым работал этот человек, и применил его подход: ссылка на проект на Kaggle, за исключением того, что у меня больше информации, и когда он использует RandomForestClassifier, он получает точность 90%, а я получаю 93%.
Меня беспокоит часть, когда я реализую RandomForestRegressor для обучения данных и предсказаний на тестовом наборе. Для финальных прогнозов я использую
y_pred_rounded = np.round(y_pred)
accuracy_score(y_test, y_pred_rounded)
Поскольку регрессия дает мне данные в формате float, а я хочу сравнить с целыми числами, происходит округление. Используя этот метод, я получаю точность 99.89%, что обычно слишком хорошо, чтобы быть правдой.
Я использую случайное разделение 70/30 для обучения моих данных. Мои обучающие данные содержат следующие характеристики:
Имя (спортсмена), Пол, Команда (страна), Город, Спорт, Событие, Является_ли_страной_хозяином (Есть ли преимущество домашней команды или нет), Год
Мы прогнозируем: Общее количество медалей в том году для той страны/команды.
Где могут быть некоторые недостатки? Делаю ли я предположения или происходит утечка данных, что приводит к такой высокой точности?
Ответ или решение
Когда вы работаете над проектом по прогнозированию количества медалей, которые страна выиграет на Олимпийских Играх 2028 года, и сталкиваетесь с необычно высокой точностью модели, это может свидетельствовать о наличии логических ошибок в организации данных или обучении модели. Рассмотрим места, где могут возникать эти ошибки, а также возможные причины слишком высокой точности.
Теория
Во-первых, следует учитывать, что чрезмерно высокая точность модели, как в вашем случае с 99,89%, может быть результатом различных проблем, таких как утечка данных, переобучение или неправильная оценка точности.
-
Утечка данных: Эта проблема возникает, когда в процесс обучения модели случайно проникают данные, относящиеся к тестовому набору данных. Это может вести к случайно высокой точности, потому что модель учится на данных, которые должна лишь предсказать.
-
Переобучение модели: Это происходит, когда модель учится на "шумных" данных или специфических характеристиках тренировочного набора, которые не представляют собой обобщаемую закономерность. Переобученная модель демонстрирует высокую точность на тренировочных данных, но плохо работает на новых или тестовых данных.
-
Неправильная обработка данных: Плохая обработка данных и выбор признаков, таких как включение категориальных признаков без их корректной обработки, могут привести к ошибкам в результатах.
-
Проблемы в методе оценки: Использование неправильного метода оценки модели может также вести к завышенным показателям точности.
Пример
Ваш процесс округления прогнозов регрессора для их сравнения с целочисленными значениями может также влиять на кажущуюся точность. Округление предсказанных значений может дать ложное чувство успеха, если распределение значений подходит под определенные условия, где округление делает предсказанные значения необычно близкими к фактическим.
Применение
-
Проверка утечки данных: Убедитесь, что в вашем наборе данных нет признаков, которые могут прямо или косвенно предоставлять информацию о целевой переменной тестового набора данных. Например, признаки, которые содержат информацию о результатах, самих соревнований 2028 года могут быть примером утечки.
-
Валидация модели: Используйте технику кросс-валидации, например, K-fold, для более надежной оценки модели. Это поможет выявить несовпадения между тренировочными и валидационными данными, которые могут возникнуть из-за переобучения.
-
Анализ ошибок: Обязательно анализируйте ошибки или остатки модели, чтобы оценить, действительно ли они распределены по случайному принципу. Наличие сильных закономерностей в остатках может указывать на проблемы с моделью.
-
Обработка признаков: Просмотрите ваш процесс предобработки данных и убедитесь, что вы корректно обрабатываете категориальные признаки. Например, использование one-hot кодирования для категориальных признаков вместо простого присвоения числовых значений может помочь уменьшить вероятность ошибочного обучения.
-
Регуляризация: Включите методы регуляризации для снижения риска переобучения, такие как L1 или L2 регуляризация, что может помочь модели стать более устойчивой.
-
Корректная оценка регрессии: Вместо округления прогнозов регрессора и использования accuracy_score, рассмотрите переход на подходящие метрики для регрессии, такие как MAE (Mean Absolute Error) или RMSE (Root Mean Squared Error), чтобы более адекватно оценить качество регрессии.
Все указанные шаги помогут вам критически проанализировать процесс обучения модели и выявить области, требующие доработки. Учет этих аспектов может помочь настроить модель так, чтобы она давала более реалистичные прогнозы, в то время как результат 99,89% будет подвергнут тщательной проверке на предмет потенциальных ошибок.