Как подстроить гиперпараметры трансформера для временных рядов, чтобы превзойти производительность LSTM?

Я пытаюсь обучить модель машинного обучения на данных временных рядов. Входные данные представляют собой 10 временных рядов, которые по сути являются данными с датчиков. Выходные данные – это другой набор из трех временных рядов. Я подаю на вход модели окно размером 100. Таким образом, форма входных данных становится (100, 10). Я хочу предсказать значения выходных временных рядов для одного временного шага. Таким образом, форма выходных данных становится (1, 3). (Если я создаю мини-пакеты размера, скажем, x, то формы входных и выходных данных становятся (x, 100, 10) и (x, 1, 3)).

Мой подход заключается в том, чтобы сначала переобучить модель на меньшем количестве записей. Посмотреть, действительно ли модель обучается / способна переобучить данные. Затем добавить немного регуляризации (в основном, dropout) и попробовать обучить модель на полном наборе данных.

Сначала я попытался переобучить модель LSTM на небольшом наборе данных и визуализировал результат. Она справилась хорошо. Поэтому я попытался обучить ее на всем наборе данных. Результаты были умеренными, но все же возникали трудности в некоторых местах. Модель LSTM, которую я пробовал, выглядит следующим образом:

class LSTMModel(nn.Module):
    def __init__(self, in_dim=10, hidden_size=1400, num_layers=1, output_size=3):
        super(LSTMModelV3, self).__init__()

        self.lstm_1 = nn.LSTM(in_dim, hidden_size, num_layers, batch_first=True) 
        self.lstm_2 = nn.LSTM(hidden_size, hidden_size, num_layers, batch_first=True)
        self.lstm_3 = nn.LSTM(hidden_size, hidden_size, num_layers, batch_first=True)
        self.lstm_4 = nn.LSTM(hidden_size, hidden_size, num_layers, batch_first=True)
        self.fc = nn.Linear(hidden_size, output_size)

    def forward(self, x):
        x, _ = self.lstm_1(x)
        x, _ = self.lstm_2(x)
        x, _ = self.lstm_3(x)
        x, _ = self.lstm_4(x)
        output = self.fc(x[:, -1, :])
        return output

Я также пробовал добавить dropout, но это не привело к значительному улучшению. Поэтому я попытался обучить модель трансформера PatchTST. Сначала я попытался переобучить меньшую модель, и это удалось. На самом деле, когда я визуализировал результат, я понял, что она смогла переобучиться лучше, чем модель LSTM. Поэтому я попытался обучить ее на всем наборе данных. Но производительность была вообще не сопоставима с LSTM.

Начальная версия PatchTST, которую я попробовал, выглядит следующим образом:

config = PatchTSTConfig(
    num_input_channels=10,
    context_length=100,
    num_targets=3,
    patch_length=10,
    patch_stride=5,
    prediction_length=1,
    num_hidden_layers=5,
    num_attention_heads=3,
    d_model=300,
)

model = PatchTSTForRegression(config)

С этой основной конфигурацией я попробовал разные изменения для оптимизации гиперпараметров:

1. d_model = 600
2. d_model = 800
3. d_model = 600, num_hidden_layer = 7
4. d_model = 600, patch_stride = 7
5. d_model = 300, patch_stride = 7, num_hidden_layers = 8

И еще несколько комбинаций. Эти комбинации гиперпараметров подобраны так, чтобы я мог обучить модель на GPU с 24 ГБ памяти. Однако ни одна конфигурация не дала потери валидации, сопоставимой с LSTM. Вот графики LSTM и PatchTST:

Соответствующие кривые скорости обучения выглядят следующим образом:

Я использую понижение скорости обучения, если производительность не улучшается в течение 7 эпох.

Что мне здесь не хватает? Не хватает ли мне каких-нибудь инсайтов о трансформерах временных рядов?

PS1: Да, базовая скорость обучения начинается с 0.00005, затем уменьшается до 0.000005, 0.0000005, 0.00000005. Я знаю, что это очень мало. Но в начале я пробовал обучить LSTM с большей базовой скоростью, такой как 0.001, 0.005, 0.0005 и т. д., но это вообще не сработало. Всё начало работать только после старта с 0.00005. Возможно, потому что значения моих датчиков действительно очень малы.

PS2: Может показаться, что валидирующая потеря LSTM уже достигла близких к 0 значений. Но это только потому, что у меня в графике высокая потеря валидации для PatchTST. Если я уберу их и добавлю график переобученной модели LSTM, то это будет выглядеть следующим образом:

PS3: Я использую оптимизатор AdamW.