Метрики валидации стабилизируются на первых нескольких эпохах на относительно хороших значениях и не улучшаются.

Я работаю над отслеживанием позиции в 6D, где цель состоит в том, чтобы оценить, как изменяется 3D положение и ориентация объекта с кадра t-1 до t. Обучающие/валидационные наборы данных являются синтетическими и поступают из одного конвейера генерации данных. Базовый обучающий набор данных состоит из 200 видео с одним объектом в подобных сценах, каждое видео представляет собой случайное плавное движение в течение 100 кадров.

Обучив множество моделей различной архитектуры и сложности, я получил очень похожие кривые обучения:

Или для модели с регуляризацией дропаут:

По какой-то причине показатели валидации стабилизируются на относительно хороших значениях с первых нескольких эпох обучения. Они не ухудшаются со временем, и увеличение набора данных, добавление регуляризаций или уменьшение мощности модели не помогают улучшить показатели валидации, хотя, как и ожидалось, эти изменения делают показатели обучения хуже. Увеличение мощности при сильной регуляризации также не улучшает валидационные показатели. Все модели застревают на почти одних и тех же магических числах для валидационного набора начиная с нескольких эпох обучения.

Вот пример модели, которую я обучал — CNN-LSTM, состоящая из замороженного извлекателя признаков DinoV2, ячейки GRU и двух MLP, которые принимают конкатенированное состояние LSTM из временного шага t и RGB латентность из t-1, чтобы предсказать изменения положения и ориентации:

RecurrentCNN(
  (state_cell): GRUCell(384, 512)
  (t_mlp): 
  ------------------------------
  self: <class 'pose_tracking.models.cnnlstm.MLP'>
  act_out: None
  dropout: 0.4
  droputs: [Dropout(p=0.4, inplace=False), Dropout(p=0.4, inplace=False), Dropout(p=0.4, inplace=False), Dropout(p=0.4, inplace=False)]
  hidden_dim: 512
  in_dim: 896
  num_layers: 5
  out_dim: 3
  training: True
  
  MLP(
    (layers): ModuleList(
      (0): Linear(in_features=896, out_features=512, bias=True)
      (1-3): 3 x Linear(in_features=512, out_features=512, bias=True)
      (4): Linear(in_features=512, out_features=3, bias=True)
    )
    (act): LeakyReLU(negative_slope=0.01)
  )
  ------------------------------
  (rot_mlp): 
  ------------------------------
  self: <class 'pose_tracking.models.cnnlstm.MLP'>
  act_out: None
  dropout: 0.4
  droputs: [Dropout(p=0.4, inplace=False), Dropout(p=0.4, inplace=False), Dropout(p=0.4, inplace=False), Dropout(p=0.4, inplace=False)]
  hidden_dim: 512
  in_dim: 896
  num_layers: 5
  out_dim: 6
  training: True
  
  MLP(
    (layers): ModuleList(
      (0): Linear(in_features=896, out_features=512, bias=True)
      (1-3): 3 x Linear(in_features=512, out_features=512, bias=True)
      (4): Linear(in_features=512, out_features=6, bias=True)
    )
    (act): LeakyReLU(negative_slope=0.01)
  )
  ------------------------------
  (encoder_img): VisionTransformer(
    (patch_embed): PatchEmbed(
      (proj): Conv2d(3, 384, kernel_size=(8, 8), stride=(8, 8))
    )
    (pos_drop): Dropout(p=0.0, inplace=False)
    (blocks): ModuleList(
      (0-11): 12 x Block(
        (norm1): LayerNorm((384,), eps=1e-06, elementwise_affine=True)
        (attn): Attention(
          (qkv): Linear(in_features=384, out_features=1152, bias=True)
          (attn_drop): Dropout(p=0.0, inplace=False)
          (proj): Linear(in_features=384, out_features=384, bias=True)
          (proj_drop): Dropout(p=0.0, inplace=False)
        )
        (drop_path): Identity()
        (norm2): LayerNorm((384,), eps=1e-06, elementwise_affine=True)
        (mlp): Mlp(
          (fc1): Linear(in_features=384, out_features=1536, bias=True)
          (act): GELU(approximate="none")
          (fc2): Linear(in_features=1536, out_features=384, bias=True)
          (drop): Dropout(p=0.0, inplace=False)
        )
      )
    )
    (norm): LayerNorm((384,), eps=1e-06, elementwise_affine=True)
    (head): Identity()
  )
  (encoder_depth): None
)
------------------------------

Вот пример видео с предсказанием обучающего процесса и пример видео с предсказанием валидации. Несмотря на то, что оно достаточно хорошо соответствует обучающему, для валидации оно, похоже, выдает очень маленькие дельты, которые не связаны с реальными изображениями.

Я не понимаю, почему валидационные показатели ведут себя таким образом, а вышеупомянутые усилия по регуляризации не помогают.