Вопрос или проблема
Я начинающий самоучка в области машинного обучения, и в настоящее время я занимаюсь задачей бинарной классификации. Я создал бинарный классификатор на базе простой нейронной сети и провел несколько экспериментов с уровнем ошибок и доверительными интервалами. Это не очень хороший классификатор, поэтому я хочу лучше понять, насколько я должен доверять результатам, предоставленным моделью. Хорошая ли идея рассчитывать вероятность ошибки на основе следующего результата? (Например, во время предсказания, если моя модель предсказала класс 0 с 95% уверенностью, я могу предположить, что вероятность ошибки составляет около 30%) Или есть более хороший способ подойти к этому? Мне кажется немного странным, что уверенность 85% имеет более низкий уровень ошибок, чем 95%. Спасибо! 
Нейронные сети славятся тем, что дают излишне уверенные прогнозы вероятности, которые не соответствуют реальности появления событий. Я даже слышал, как люди утверждают, что выходные данные даже не являются вероятностными значениями. Мне трудно согласиться с этим, но такие комментарии действительно подчеркивают, насколько часто предсказанные вероятностные значения некачественны.
Вы можете оценить качество вероятностных значений с помощью графиков калибровки. У Scikit-learn есть введение в эту тему, а также код реализации. Даже лучше могут быть инструменты R rms::calibrate и rms::val.prob.
Если ваша нейронная сеть не производит откалиброванные вероятностные значения, что, вероятно, и происходит, то буквальная интерпретация сырых предсказаний не имеет смысла, и между уверенностью модели и точностью классификации нет несоответствия.
Наконец, ваша нейронная сеть не делает классификацию самостоятельно, а только в сочетании с правилом принятия решений, таким как выбор категории ноль, если сырое предсказание ниже $0.5$ и категория один в противном случае (распространенное программное правило принятия решений по умолчанию). Когда вы изменяете этот порог, вы получаете разные классификации и разные значения точности классификации. (Действительно, изменение этого порога – это способ построения ROC и PR кривых.) Эти другие классификации могут лучше соответствовать значениям “уверенности”.
Ответ или решение
Уровни уверенности и коэффициенты ошибок в моделях бинарной классификации
В процессе разработки бинарной классификационной модели часто возникает вопрос о том, насколько можно доверять полученным результатам, особенно если это связано с интерпретацией уровней уверенности, предоставляемых моделью. Ниже рассмотрим основные аспекты, касающиеся уровней уверенности и коэффициентов ошибок в контексте бинарной классификации на примере нейронных сетей.
Понимание уровней уверенности
Уровень уверенности, выдаваемый вашей моделью, представляет собой вероятностное значение, которое показывает, насколько уверенно модель определяет, к какому классу принадлежит объект. Например, если модель прогнозирует класс 0 с вероятностью 95%, это подразумевает высокую уверенность в правильности этого прогноза. Однако важно понимать, что эта уверенность не обязательно коррелирует с фактической вероятностью правильности прогноза.
Ошибки в интерпретации
Как правильно отмечено, нейронные сети склонны к переобучению, что может приводить к неправильной интерпретации вероятностных предсказаний. Если ваша модель демонстрирует, что ошибка составляет 30% при 95% уверенности, это может быть связано с тем, что вероятности, выдаваемые моделью, не являются хорошо откалиброванными. Такие ситуации обостряют необходимость в оценке и калибровке вероятностей.
Калибровка вероятностей
Одним из наиболее эффективных способов оценить качество вероятностей, выдаваемых вашей моделью, является использование графиков калибровки. Они позволяют визуально оценить, насколько хорошо вероятности, предсказываемые моделью, соответствуют реальным данным. Также существуют инструменты, такие как rms::calibrate и rms::val.prob в R, которые могут помочь в процессе калибровки.
Влияние порогов
Ваши нейронные сети не принимают окончательных решений о классификации сами по себе. Они предоставляют вероятностные выходы, которые затем интерпретируются с использованием определенного порога. Наиболее распространенный порог — это 0.5, но, изменяя этот порог, вы можете изменить классификацию и соответственно коэффициенты ошибок. Это является основой для построения кривых ROC и PR, которые помогают в анализе производительности модели.
Заключение
Таким образом, для надежной интерпретации результатов бинарной классификации важно учитывать, что уровни уверенности следует оценивать не только по их числовым значениям, но и с учетом калибровки и порогов принятия решений. Калибровка вероятностей и вариация порогов могут значительно улучшить надежность ваших выводов о классификации. Чтобы принять правильные решения на основе уверенности модели, всегда стоит проводить дополнительный анализ, чтобы лучше понять, насколько ваши модели "достоверны".
Эти практические советы помогут вам в оттачивании вашего понимания работы с бинарными классификаторами и повысить качество принимаемых вами решений в процессе работы с нейронными сетями.