Ошибка тестирования значительно выше ошибки обучения после сетевого поиска и кросс-валидации.

Question 1

В данный момент я работаю над проектом машинного обучения. Это задача с контролируемым обучением. Моя цель – предсказать для заданных данных животного (содержание, размер, вес и т.д.) ингредиенты (энергия, витамины и т.д.). Сначала я очистил данные и закодировал категориальные признаки с помощью LabelEncoding. Я выбрал Random Forest в качестве алгоритма, потому что прочитал, что деревья хорошо работают с смешанными данными (категориальными и непрерывными). Я обучил модель с несколькими параметрами и заметил, что получаю отличные результаты на обучающей выборке, но очень плохие результаты на тестовой выборке. На мой взгляд, это указывает на переобучение. Модель обучается на шуме. Так что я знаю, что у меня есть два варианта: больше данных и снижение сложности модели. Но я пробовал PCA, удалил некоторые признаки, изменил гиперпараметр (max_depth до 15). Но ни одно из этих действий не помогло. Я снизил max_depth, но тогда у меня возникла большая ошибка на обучающей выборке, но все равно осталась высокая ошибка на тестовой выборке.

Так в чем может быть проблема? Мне понятно, что ошибка на тестовой выборке всегда немного выше, чем ошибка на обучающей выборке. Но в этом случае разница очень большая.

from sklearn.model_selection import GridSearchCV
from sklearn.metrics import mean_absolute_error
from sklearn.metrics import mean_squared_error, r2_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression
from sklearn.ensemble import RandomForestRegressor
from sklearn.neural_network import MLPRegressor
from sklearn.decomposition import KernelPCA

param_grid = {
    'n_estimators': [i for i in range(50, 500, 50)],
    'max_depth': [i for i in range(5, 20, 5)],
}

estimator = RandomForestRegressor()
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.1, random_state=52)
X_train,scalerX = normalize(X_train)
Y_train,scalerY = normalize(Y_train)
X_test = scalerX.transform(X_test)
Y_test = scalerY.transform(Y_test)

gridModel = GridSearchCV(estimator=estimator,param_grid=param_grid,n_jobs=4,cv=5,scoring='neg_mean_squared_error')
gridModel.fit(X_train,Y_train)

print(gridModel.best_params_)

best_params: {‘max_depth’: 15, ‘n_estimators’: 150}
изменив сетку на [i for i in range(5, 50, 5)], тогда best_params: {‘max_depth’: 30, ‘n_estimators’: 50}

y_pred_test = gridModel.predict(X_test)
test_r2_score = r2_score(y_pred=y_pred_test,y_true=Y_test)

y_pred_train = gridModel.predict(X_train)
train_r2_score = r2_score(y_pred=y_pred_train,y_true=Y_train)

print("Результат теста:",test_r2_score)
print("Результат обучения:",train_r2_score)

{‘max_depth’: 15, ‘n_estimators’: 150}
Результат теста: -2.952394644421328e+31
Результат обучения: 0.8043381537451035
{‘max_depth’: 30, ‘n_estimators’: 50}
Результат теста: -7.37835882483847e+30
Результат обучения: 0.9286384515560636

    scaler = preprocessing.StandardScaler()
    return scaler.fit_transform(x),scaler```

Question 2

Несколько комментариев.

Возможно, я что-то упускаю, но не могу найти вашу функцию normalize(), возможно, в ней есть ошибка. Для случайного леса в любом случае нет необходимости нормализовать данные.
Если у вас не так много данных, я бы использовал как минимум 0.3 для разделения обучающей и валидационной выборки. Вы также можете попробовать KFold для уверенности.

Ошибка тестирования значительно выше ошибки обучения после сетевого поиска и кросс-валидации.

Вопрос или проблема

Ответ или решение

1. Причины переобучения модели

2. Рекомендации по улучшению модели

Устранение проблемы вариативности

Тонкая настройка параметров модели

3. Анализ метрик и ошибок

Заключение