Объяснение метрики оценки LSTM MAE

Содержание

Вопрос или проблема
Ответ или решение
Понимание метрики MAE для оценки производительности LSTM модели
Что такое MAE?
Оценка производительности модели
Рекомендации

Вопрос или проблема

Мне трудно понять производительность модели LSTM, так как я подытоживаю свою модель следующим образом:

X_train.shape
(120, 7, 11)
y_train.shape
(120,)
X_test.shape
(16, 7, 11)
y_test.shape
(16,)

model = keras.Sequential()
model.add(keras.layers.LSTM(100, input_shape=(X_train.shape[1], X_train.shape[2]), return_sequences=True))
model.add(keras.layers.Dropout(rate=0.2))
model.add(keras.layers.LSTM(20))
model.add(keras.layers.Dropout(rate=0.2))
model.add(keras.layers.Dense(1))
model.compile(loss=”mean_squared_error”, optimizer=keras.optimizers.Adam(0.001), metrics=[‘mae’])

history = model.fit(
X_train, y_train,
epochs=60,
batch_size=5,
verbose=0,
validation_split=0.1,
shuffle=False
)

На основе приведенных ниже графиков и MSE, и MAE уменьшаются в процессе обучения, и их соответствующие значения близки к нулю.

Однако предсказание недостаточно точно, как я понимаю:

y_pred = model.predict(X_test)
model.evaluate(X_test, y_test)
[0.04673878103494644, 0.15574690699577332]

Так что мой вопрос: как на самом деле оценивается производительность моей модели? Я имею в виду, как интерпретировать ее эффективность, поскольку и MSE, и MAE кажутся низкими, но значения предсказания не совсем убедительны.

Вы получаете потери, близкие к 0, но истинное распределение y в диапазоне от 0 до 1, так что эта потеря 0,04 может быть высокой потерей. Просто возьмите случайную модель и проверьте потери. Вы узнаете, насколько вы уменьшили потери. Я бы предложил использовать метрику r^2 для оценки.

Ответ или решение

Понимание метрики MAE для оценки производительности LSTM модели

Для корректной оценки производительности вашей модели LSTM необходимо глубже понять значение метрики MAE (Mean Absolute Error) и как она соотносится с вашим конкретным набором данных и задачей.

Что такое MAE?

Средняя абсолютная ошибка (MAE) — это мера величины ошибок в предсказаниях модели. Она рассчитывается как среднее арифметическое абсолютных значений разностей между предсказанными и истинными значениями. Формально, это можно записать как:

[
MAE = \frac{1}{n}\sum{i=1}^{n} |y{pred,i} – y_{true,i}|
]

где (n) — количество наблюдений, (y{pred}) — предсказанные значения, а (y{true}) — истинные значения.

MAE дает четкое представление о том, насколько близки предсказанные значения к реальным значениям, что делает её особенно полезной для интерпретации производительности модели.

Оценка производительности модели

На основе приведенной информации, можно выделить несколько ключевых моментов:

Форма входных и выходных данных: Размерности ваших данных указывают на временной ряд с 7 временными шагами и 11 признаками. Это наводит на мысль, что ваше предсказание зависит от исторических данных.
Уменьшение ошибок: Несмотря на то, что как MSE, так и MAE показывают низкие значения, ваша модель может всё ещё давать неубедительные предсказания. Важно понимать, что низкие значения MAE не всегда гарантируют хорошую производительность модели в контексте вашей конкретной задаче.
Интерпретация метрики: В вашем случае, MAE равная 0.1557 может показаться низкой в абсолютном выражении, но если ваш целевой диапазон значений находится от 0 до 1, то это уже составляет значительную долю от всего диапазона. Понимание относительности величины MAE в зависимости от диапазона ваших целевых значений критично для интерпретации производительности модели.
Сравнительный анализ: Чтобы оценить, действительно ли ваша модель более производительна по сравнению с случайной моделью, можно использовать несколько контрольных моделей. Например, вы можете создать простую модель, которая будет предсказывать среднее или медианное значение ваших целевых переменных. Сравнив MAE этих моделей с вашей LSTM моделью, вы сможете оценить, насколько ваш подход улучшил производительность.
Метрики для глубокой оценки: Учитывая, что MAE может не давать полной картины производительности модели, добавление других метрик, таких как R² (коэффициент детерминации), может дополнительно прояснить результаты. R² дает понимание того, какую долю дисперсии в целевой переменной удается объяснить моделью.