Вопрос или проблема
Я оцениваю глубину воды с помощью спутниковых данных (предсказанное значение) и хотел бы проверить свой результат, используя данные батиметрии, собранные на местности и считающиеся более точными (наблюдаемое значение). У меня есть разные наблюдения на каждой глубине воды. Например, количество наблюдений в диапазоне глубин воды 0-10 м составляет 300, тогда как значения на более глубоких глубинах (10 – 20 м) меньше (~50 точек). Я использовал RMSE (поскольку хотел бы штрафовать за большую ошибку) для измерения своей точности, но задумываюсь, есть ли лучший параметр ошибки, который не чувствителен к числу наблюдений. Другими словами, для глубины воды 10 – 20 м с 50 точками у меня RMSE составляет ~6 м, и я думал, что это значение могло бы быть ниже, если бы у меня было больше наблюдений. В то время как для мелкой глубины воды (0-10 м) мой RMSE намного ниже, возможно, потому что у меня много наблюдений.
Поскольку у вас есть задача регрессии, вы можете использовать множество возможных оценочных метрик. Другие метрики оценки регрессии включают среднюю квадратичную ошибку (MSE), среднее абсолютное значение (MAE) и среднюю абсолютную процентную ошибку (MAPE).
Тем не менее, похоже, что проблема заключается в дисперсии между различными значениями цели. Если вы переключитесь на Байесовскую регрессию, она лучше смоделирует дисперсию и неопределенность в пределах диапазона целевых значений.
Ответ или решение
Для оценки точности прогноза глубины воды, полученного с использованием спутниковых данных (предсказанные значения), и для проверки результатов с помощью данных лазерного радарного профилирования (истинные значения), необходимо обсудить, какой из метрик ошибки будет наиболее подходящим. Вы уже применили RMSE (корень среднеквадратичной ошибки), что позволяет штрафовать большие ошибки, но возникает проблема с тем, что RMSE может быть чувствителен к числу наблюдений в различных диапазонах глубин.
Проблема с использованием RMSE
RMSE, хотя и является популярной метрикой, на самом деле может создавать искажения в ваших результатах, особенно в условиях дисбаланса в количестве наблюдений. В вашем случае наблюдается значительное различие: 300 наблюдений в диапазоне 0-10 м и только 50 наблюдений в диапазоне 10-20 м. Это может привести к тому, что метрика RMSE будет искажена, так как большая ошибка по сути будет менее заметна из-за недостатка данных.
Альтернативные метрики
-
Средняя абсолютная ошибка (MAE): Эта метрика учитывает среднее абсолютное отклонение между предсказанными и истинными значениями. Она менее чувствительна к аномалиям и менее подвержена влиянию числа точек в каждом диапазоне. Использование MAE вместо RMSE может позволить более адекватно сравнить точности прогноза в разных диапазонах глубин.
-
Средняя абсолютная процентная ошибка (MAPE): Данная метрика показывает ошибку в относительных процентах и может быть полезна, если вы хотите оценить ошибки в контексте пропорций. Однако в случае значений, близких к нулю, MAPE может давать неоправданно большие значения, что стоит учитывать.
-
Коэффициент детерминации (R²): Этот коэффициент показывает, какую долю вариации зависимой переменной объясняет ваша модель. R² может быть полезным для понимания общей точности модели, однако он не считается прямой метрикой ошибок.
Использование Байесовской регрессии
Ваша задача — оценивание глубины воды, где отклонения могут варьироваться по всей шкале, может выиграть от методов, основанных на Байесовской регрессии. Байесовская регрессия предоставляет возможность учитывать неопределенность и вариативность зависимой переменной. Этот подход позволяет формулировать более полные вероятностные модели, которые могут адекватно описывать распределение ошибок, особенно в ситуациях с различным количеством наблюдений по диапазонам.
Заключение
Исходя из ваших требований, вам следует рассмотреть использование MAE или даже перейти к Байесовской регрессии, чтобы учесть различия в количестве наблюдений и вариативность между глубинами. Эти метрики и модели могут предложить более сбалансированную и точную картину вашей оценки глубины, что важно для получения надежных и значимых результатов.
Такой подход, учитывающий специфику вашего применяемого метода и специфику ваших данных, позволит более точно сравнивать результаты и принимать обоснованные решения в дальнейшем анализе.