Вопрос или проблема
У меня есть вопрос из теста, я смог его решить, но что-то кажется странным…
Докажите, что это утверждение неверно:
Если все выборки для логистической регрессии отнесены к категории ложных, то потери на обучении равны 0.
Что я сделал:
Если все образцы правильные, то $s_j=1$, $\forall j=1,..,n_t$
Мы знаем, что для логистической регрессии выход $f_\theta (x)\approx P(s=1|x)$
Здесь для меня возникает проблема:
В лекционных материалах нам сказали, что выходы находятся в диапазоне $[0,1]$, но в логистической регрессии у нас на выходе сигмоида, чтобы так было, но сигмоида переводит диапазон выходов в $(0,1)$, она не может полностью достичь $1$ или $0$. Это ошибка в лекционных материалах, верно?
Также мы используем CE для логистической регрессии, поэтому функция потерь (в случае $s=1$, так как все предсказания корректны):
$L_D (\theta)=-\frac 1 {n_t}\bullet \sum _{j=1}^{n_t}\:log\left\{P\left(s=1|x\right)\right\}$
Таким образом, она никогда не достигнет нуля, верно? Но потери могут быть $(0,\infty)$
.
Ответ или решение
Цель логистической регрессии — это классификация объектов на два возможных класса (класс 0 или класс 1). При этом мы используем сигмоидную функцию, чтобы преобразовать линейную комбинацию входных данных и весов в значения, находящиеся в интервале (0, 1), которые интерпретируются как вероятности принадлежности к одному из классов.
### Теория
В логистической регрессии, модель оценивает вероятность объекта принадлежать к классу 1:
\[ P(y=1|x) = \sigma(\theta^T x) = \frac{1}{1 + e^{-\theta^T x}} \]
где \(\sigma(z)\) — сигмоидная функция, а \(\theta\) — параметры модели.
Как вы правильно заметили, сигмоидная функция никогда не достигает значений 0 или 1; она лишь стремится к ним асимптотически. По этой причине вероятность полного совпадения предсказания и истинной метки (в смысле прямого попадания в 0 или 1) с точки зрения линейной модели стремится к нулю. Это ключевой фактор для оценки ответа на ваш вопрос.
Функция потерь логистической регрессии связана с понятием перекрестной энтропии (CE), и для заданного набора данных D она определяется следующим образом:
\[ L_D(\theta) = -\frac{1}{n} \sum_{j=1}^{n} \left[ y_j \log(P(y=1|x_j)) + (1-y_j) \log(1 – P(y=1|x_j)) \right] \]
### Пример
Теперь, когда все метки вашего набора данных \(s_j\) равны 1, формула перекрестной энтропии выглядит следующим образом:
\[ L_D(\theta) = -\frac{1}{n} \sum_{j=1}^{n} \log(P(y=1|x_j)) \]
В этом выражении \(\log(P(y=1|x_j))\) никогда не достигает 0, так как вероятность \(P(y=1|x_j)\) не равна 1. Из-за этого потери никогда не станут нулевыми.
### Применение
Таким образом, утверждение вашей задачи, что потери могут быть равны нулю, если все предсказания правильные, является неверным, ввиду природы сигмоидной функции и свойства логистической регрессии. Даже если модель предскажет с высокой точностью, что объект принадлежит к классу 1, функция потерь будет уменьшаться, но никогда не станет равной нулю из-за ограничений сигмоидной функции.
Этот аспект важен для понимания работы алгоритма и процесса оптимизации параметров модели. Умение правильно интерпретировать вероятности и их влияние на функцию потерь способствует более точной настройке модели, выбору правильного баланса регуляризации и достижения высоких результатов в задачах бинарной классификации.
В заключение, понимание свойств логистической регрессии и перекрестной энтропии является ключевым для точной интерпретации полученных результатов. Это не только улучшает качество модели, но и позволяет обоснованно выбирать дальнейшие шаги в ее оптимизации, избегая заведомо ложных гипотез.