Вопрос или проблема
Это вопрос с несколькими вариантами ответа, который я нашёл
Потеря хинг (hinge loss), используемая в SVM, обычно даёт меньшее значение, чем логистическая регрессия, для точек, которые классифицируются неправильно с высокой вероятностью или оценкой.
⋆ РЕШЕНИЕ: Верно
Когда я смотрел на график потерь хинг и логистических потерь, я вполне ясно вижу, что для неправильно классифицированных точек за границей маржи, потеря от хинг больше, чем от логистических. Так почему же ответ верный.
Ответ или решение
Для обеспечения качественного понимания разницы между функциями потерь, используемыми в методах машинного обучения, важно проанализировать, как именно различные подходы к классификации обрабатывают ошибочные классификации, особенно в контексте потерянного хинга и логистической потери.
Функции потерь: основные различия
-
Hinge Loss: Используется в Support Vector Machines (SVM). Эта функция потерь penalizes misclassifications, но базируется на концепции "margin" (границы). Она устанавливает порог, который позволяет правильно классифицированным точкам иметь минимальную потерю (если они находятся на расстоянии хотя бы одного margin от гиперплоскости), но резко возрастает для неправильно классифицированных точек, когда они попадают внутрь границы. Если точка находится не только неправильно классифицирована, но и "внутри" margin, Hinge Loss начинает резко расти.
-
Логистическая потеря: Эта функция потерь применяется в логистической регрессии и описывает вероятностный подход к разрешению класса. Она учитывает расстояние от гиперплоскости и вероятность принадлежности конкретного примера к положительному классу. Логистическая потеря постепенно увеличивается в зависимости от вероятности, что позволяет более мягко penalize точки, находящиеся ближе к границе, даже если они классифицированы неправильно.
Сравнение штрафов за классификацию
Ваша интерпретация графика действительно подтверждает, что для неправильно классифицированных точек после превышения margin, Hinge Loss проявляет более резкое увеличение, чем логистическая потеря. Однако самое главное отличие заключается в том, как обе функции потерь реагируют на точки, находящиеся за границей margin.
- Для точек, которые высоко уверенно классифицированы, например, с высоким предсказанным значением вероятности, логистическая потеря предоставляет меньшие штрафы, чем Hinge Loss. Это связано с тем, что Hinge Loss сосредоточено на жесткой границе, в то время как логистическая потеря рассматривает относительное расстояние от класса, что позволяет ей быть менее строгой при ошибочных классификациях с высокой вероятностью.
Заключение
Таким образом, когда мы говорим, что "Hinge Loss generally gives less weight than logistic regression to points that are misclassified with a high probability or score", это утверждение верно, когда речь идет о точках, находящихся близко к границам. Hinge Loss наказывает более строго, когда данные сильно удалены от своих истинных классов, в то время как логистическая функция потерь более гибка в таких ситуациях.
Надеемся, что данное объяснение дает вам полное понимание разницы в подходах и поощрении правильных и неправильных классификаций для Hinge Loss и логистической потери.