Вопрос или проблема
Учитывая регрессионную модель с n признаками, как я могу измерить неопределенность или доверие к модели для каждого предсказания? Предположим, для конкретного предсказания точность потрясающая, но для другого – нет. Я хотел бы найти метрику, которая позволит мне решить, стоит ли “слышать” модель для каждого кадра.
Это оценка, и она проводится экспериментально: с тестовым набором свежих экземпляров, содержащих истинное целевое значение, примените модель и измерьте ошибку для всех экземпляров (например, с помощью MAE, MSE, RMSE…).
Предполагая, что тест является достаточно большой представительной выборкой данных, таким образом можно оценить качество модели статистически. Например, мы можем сказать, что экземпляр в среднем предсказывается в диапазоне $x$ от истинного значения.
Но в общем невозможно знать, насколько хорошее предсказание для конкретного экземпляра: по определению модель дает свое наилучшее предсказание. Если бы модель была способна знать, что ее предсказание плохое, логически, она должна бы дать другое предсказание. Обратите внимание, что если бы это было возможно, также было бы возможно итеративно построить почти идеальную модель: пока предсказание плохое, пробуйте снова.
Для справки, есть некоторые специфические задачи, где пытаются оценить доверие к супервизорной модели (например, оценка качества MT). Это делается путем построения новой супервизорной модели для предсказания оценки доверия. Эта новая модель также может совершать ошибки, конечно.
Чтобы ответить на мой вопрос, я использую три типа моделей –
- Регрессия KNN
- Регрессионные деревья
- Сложные модели, такие как НН или SVM
Регрессия KNN
Это непараметрическая регрессионная модель, и доверие может быть явно смоделировано с использованием средней абсолютной ошибки или средней квадратной ошибки. В момент тестирования для данного экземпляра будут найдены K ближайших экземпляров, и в зависимости от их средней дистанции до данного экземпляра, мы можем вычислить среднюю абсолютную ошибку или среднюю квадратную ошибку. Мы можем оценить доверие, используя эти метрики. Более высокая средняя абсолютная ошибка или средняя квадратная ошибка приведет к более низкому значению доверия и наоборот.
Регрессионные деревья
При построении дерева во время обучения мы создаем листовые узлы, присваивая средней целевое значение связанных экземпляров узлу. При этом мы также можем присваивать и поддерживать среднюю среднюю абсолютную ошибку или среднюю квадратную ошибку между средней целевым значением и целевыми значениями связанных экземпляров узла. Похожие на вычисление стандартного отклонения целевых значений экземпляров этого узла. Таким образом, в момент тестирования для данного экземпляра, когда дерево достигает конкретного листового узла, вместе с регрессионным целевым значением мы также получим среднюю абсолютную ошибку или среднюю квадратную ошибку, которую мы можем ожидать для экземпляров, которые заканчиваются на этих узлах. И как объяснено в регрессии KNN, мы можем соответственно смоделировать доверие.
Сложные модели, такие как НН или SVM
Эти простые техники, обсуждаемые выше, также можно применить к этим моделям. Так же как и регрессия KNN, в момент тестирования для тестового экземпляра мы можем найти ближайшие K экземпляров из обучающего набора и вычислить среднюю абсолютную ошибку или среднюю квадратную ошибку, чтобы получить оценочное доверие. Но здесь можно сделать гораздо больше. Вы можете прочитать больше по этой теме (https://stats.stackexchange.com/questions/247551/how-to-determine-the-confidence-of-a-neural-network-prediction), где люди обсуждают что-то очень похожее, что вы можете найти полезным.
Ответ или решение
Оценка неопределенности регрессионных моделей
Оценка неопределенности регрессионных моделей — важный аспект в сфере аналитики данных и машинного обучения. Понимание того, насколько уверены мы в предсказаниях модели, позволяет более обоснованно принимать решения на основе этих предсказаний. Важно понимать, что каждый тип регрессионной модели предоставляет различные способы оценки уверенности. В данной статье мы рассмотрим, как можно оценить неопределенность для трех различных типов регрессионных моделей: KNN-регрессия, регрессионные деревья и сложные модели, такие как нейронные сети и опорные векторы.
KNN-регрессия
KNN (k-ближайших соседей) — это непараметрическая регрессионная модель, в которой неопределенность можно оценить с помощью средних абсолютных (MAE) или средних квадратичных ошибок (MSE). На этапе тестирования для заданного экземпляра определяются k ближайших соседей, и на основе их расстояний к тестовому экземпляру можно подсчитать MAE или MSE.
Чем выше значение MAE или MSE, тем ниже уверенность в прогнозе. Эта оценка создаёт естественную связь между расстоянием соседей и качеством прогноза. Например, если ближайшие соседи находятся далеко от тестируемого экземпляра, это может указывать на то, что модель менее уверена в сделанном предсказании.
Регрессионные деревья
Регрессионные деревья строятся с использованием алгоритмов, которые назначают среднее значение целевой переменной для значений, попадающих в соответствующий лист дерева. Во время создания деревьев можно также сохранять такие метрики, как MAE или MSE для каждого листа.
Когда модель обучена, для любого нового экземпляра, который попадает в узел, можно получить не только предсказанное значение, но и метрики MAE или MSE для целевых значений в этом узле. Это позволяет о quant-фна оценивать уверенность и степень неопределенности предсказания, предоставляя ценную информацию о типичных отклонениях среди значений, которые она обрабатывает.
Сложные модели: нейронные сети и опорные векторы
Для сложных моделей, таких как нейронные сети (NN) и опорные векторы (SVM), также возможно применение вышеописанных принципов. В случае нейронных сетей можно применять технику «дропаута», которая при обучении временно исключает часть нейронов, что помогает оценить, насколько модель уверена в своих выводах. Это может дать представление о структурной неопределенности.
Дополнительно метод KNN можно адаптировать и в условиях сложных моделей. Например, используя обученные уровни слоев, можно искать ближайшие экземпляры и вычислять MAE или MSE на основе выхода модели, что также может дать оценку уверенности.
Заключение
Эффективная оценка неопределенности предсказаний регрессионных моделей играет ключевую роль в контроле за качеством принимаемых решений. Для разных типов моделей существуют свои подходы к измерению этой неопределенности. Важно выбирать адекватные метрики и алгоритмы в зависимости от характеристик используемых данных и необходимого уровня точности.
Таким образом, к каждой модели следует подходить индивидуально, учитывая её специфику и контекст применения. Это позволит повысить точность оценок и уровень уверенности в принятых решениях, что в конечном итоге приведёт к более эффективному использованию данных в бизнесе и научных исследованиях.