Регрессия нейронной сети с отрицательной производительностью

У меня есть проблема с производительностью многослойного перцептрона-регрессора (нейронной сети), и я не могу понять, почему.

Задача: Я пытаюсь улучшить прогноз времени. У меня есть прогнозы физического параметра за последние 4 года вместе с почти истинными значениями. Я обучаю нейронную сеть с прогнозами за -7 дней до +1 дня вокруг интересующего меня дня в качестве признаков, чтобы получить лучший прогноз для этого дня.

Проблема: Выход нейронной сети хуже, чем признак для дня, который меня интересует, как для обучающих, так и для тестовых данных. Как по RMSE, так и по MAE. Я ожидал, что выход будет хотя бы на том же уровне, что и признак, который я ввел в нейронную сеть.

Метод: Python с sklearn. Я использую поиск по сетке с кросс-валидацией, чтобы получить хорошие гиперпараметры. Я тестирую разные конфигурации скрытых слоев, функции активации, скорость обучения и силы регуляризационного штрафа. Я разделяю данные на 66% для обучения и оставшиеся данные для тестирования.

Я действительно благодарен за советы, как понять, в чем моя проблема.

EDIT:
Я использую sklearn.neural_network.MLPRegressor, который предоставляет ‘identity’, ‘logistic’, ‘tanh’ и ‘relu’ в качестве функций активации, и я протестировал их все в поиске по сетке.

Я НЕ масштабировал матрицу признаков, потому что все признаки находятся в одной единице с желаемым выходом и варьируются от примерно -1 до +1.

EDIT2:

tuned_parameters = [{'hidden_layer_sizes': [int(2/3*number_features),
                                        (int(2/3*number_features), int(4/9*number_features)),
                                        (int(2/3*number_features), int(4/9*number_features), int(8/27*number_features))],
                 'alpha': 10.0 ** -np.arange(1, 4),
                 'activation': ["identity", "relu", "logistic", "tanh"],
                 'learning_rate': ['adaptive', "invscaling"],
                 'solver': ['lbfgs'],
                 'early_stopping': [True],
                 'max_iter': [600]}]

regr = GridSearchCV(MLPRegressor(), tuned_parameters, n_jobs=3, verbose=2)
regr.fit(feature_training_matrix, combined_training_target_vector)

Данные:
Данные для прогнозирования, которые я использую, имеют следующую структуру: для каждого дня последних ~4 лет были сделаны прогнозы на следующие 90 дней. У меня есть текстовый файл с данными от -90д до +90д для каждого дня. Я пытаюсь обучить нейронную сеть для того, чтобы оценить лучший прогноз на следующие 10 дней. Для этого я беру от -7 до +1 дня вокруг текущего дня прогноза (1-10 дней после того, как текущий используется для прогнозирования) в качестве признаков. Это означает, что прогноз интересующего меня дня включен в качестве признака.

пример признака: [0.16272058, 0.13296574, 0.14213905, 0.25064893, 0.23302285,
   0.21019931, 0.20733988, 0.1466959 , 0.17029025, 0.15876942]

соответствующая цель: 0.174652

Совершенно возможно, что оригинальная модель уже работает очень хорошо – невозможно ее улучшить. Например, истинная связь между оригинальными входными переменными и целью может быть линейной, поэтому нейронная сеть ничего не добавляет.

В качестве теста я бы увеличил hidden_layer_sizes и установил early_stopping=False и даже просто провел поиск по сетке (без CV): RMSE Training должен стать лучше, чем RMSE Feature. Скорее всего, RMSE Testing будет хуже, но по крайней мере у вас будет доказательство того, что нет никаких других неожиданных обстоятельств (например, ошибки в коде).

Имеет смысл использовать прогнозы базовой модели в качестве входов. Особенно если оригинальная базовая модель каким-то образом ограничена, и вы ожидаете, что ваша новая модель превзойдет оригинальную потому что в новой модели у вас нет этого ограничения. Например, оригинальная модель может быть линейной (ARIMA или ARIMAX), в то время как ваша является нелинейной – нейронной сетью.

Даже если истинная связь между входами и целью является нелинейной, у вас не так много “игрового пространства” для нейронной сети (помните, что мы хотим превзойти базовую модель). Насколько я понимаю, у вас всего ~ 4*365 наблюдений. Вы легко можете переобучиться с множеством нейронов, но с лишь несколькими нейронами обучение может застрять в локальных минимумах.