Вопрос или проблема
Меня спросили на интервью, почему мы используем биномиальное распределение в логистической регрессии и как это связано с классом, который мы предсказываем?
Может кто-то объяснить, без каких-либо математических уравнений, почему мы используем биномиальное, а не какое-либо другое распределение?
Из википедии:
…, биномиальное распределение с параметрами n и $\rho$ является дискретным вероятностным распределением числа успешных исходов в последовательности n независимых экспериментов, каждый из которых задает вопрос с ответом «да» или «нет», и каждый с собственным двоичным результатом: случайная величина, содержащая один бит информации: успех/да/истина/один (с вероятностью $\rho$) или провал/нет/ложь/ноль (с вероятностью $\rho = 1 − \rho$).
Таким образом, если вы знаете, что логистическая регрессия выполняется для моделирования двоичной выходной переменной к какому-либо моделированию (т.е. для выдачи 0 или 1, да или нет и т.д.), имеет смысл основывать любые вероятностные предположения на распределении, которое имеет эту особенность. Поэтому биномиальное распределение может иметь смысл по сравнению с непрерывным распределением, таким как гауссовское или коши.
Предположим, что у вас есть временная переменная, и вы наблюдаете в каждый момент времени на определенной автобусной остановке, прибывает ли автобус или нет. Обозначим вероятность того, что автобус прибывает на автобусную остановку в момент времени $t$, как $p(t)$. Эта суть успеха/провала является биномиальным распределением, и логистическая регрессия вычисляет/предсказывает $p(t)$, смещая и растягивая логистическую кривую.
Логистическая регрессия включает метод максимального правдоподобия. Изучается результат или наблюдения случайного эксперимента и рассматривается, какая из нескольких возможных причин могла привести к этому с наибольшей вероятностью (“максимальное правдоподобие”).
Коэффициенты регрессии интерпретируются иначе, чем в линейной регрессии. Линейной зависимости нет. Но в зависимости от знака, если он положительный, то наблюдается увеличение независимой переменной, о которой идет речь (максимальное правдоподобие). Напротив, наблюдается снижение. Это именно то же самое, что происходит в биномиальном распределении.
Ответ или решение
Логистическая регрессия — это мощный метод статистического анализа, широко используемый для моделирования зависимых переменных, имеющих бинарные исходы, то есть когда целевая переменная может принимать лишь два значения, например, «да» или «нет», «успех» или «неудача», «приход» или «отсутствие». Одним из ключевых аспектов, который отличается логистическую регрессию от других методов регрессии, является использование биномиального распределения для описания вероятности успешных исходов.
Почему биномиальное распределение?
Биномиальное распределение идеально подходит для логистической регрессии по нескольким причинам:
-
Дискретные исходы: Биномиальное распределение рассматривает количество успешных исходов в серии независимых экспериментов, где каждый эксперимент может завершиться только одним из двух возможных результатов: успехом (да) или неудачей (нет). Это полностью соответствует задачам классификации, где необходимо предсказать вероятности двух исходов.
-
Параметрическая структура: В биномиальном распределении два параметра: количество испытаний и вероятность успеха. В контексте логистической регрессии это означает, что мы можем моделировать вероятность успеха (например, вероятность того, что автобус придет на остановку) как функцию от независимых переменных. Таким образом, логистическая регрессия позволяет нам оценить, как изменения в этих переменных (например, время, погода) влияют на вероятность успешного исхода.
-
Использование логистической функции: Логистическая регрессия использует логистическую функцию для преобразования линейной комбинации независимых переменных в вероятность, ограниченную значениями от 0 до 1. Это свойство позволяет моделировать вероятности, которые соответствуют биномиальному распределению, таким образом, подтверждается соответствие между используемой моделью и реальной природой данных.
Взаимосвязь с причинам и максимальной правдоподобностью
Когда мы говорим о логистической регрессии и биномиальном распределении, важно отметить, что логистическая регрессия использует метод максимального правдоподобия. Это означает, что мы ищем такие параметры модели, которые максимизируют вероятность наблюдаемых данных. В этом контексте, биномиальное распределение служит естественной основой для оценки вероятностей, поскольку оно помогает установить связь между наблюдаемыми исходами и скрытыми факторами, которые могли привести к этим исходам.
В результате мы можем интерпретировать коэффициенты, полученные в ходе логистической регрессии, в терминах вероятности: положительный коэффициент указывает на увеличение вероятности успеха с увеличением независимой переменной, тогда как отрицательный коэффициент указывает на снижение вероятности.
Заключение
Суммируя вышесказанное, биномиальное распределение представляет собой естественную и логичную модель для задач бинарной классификации, которые решает логистическая регрессия. Это основано на чисто вероятностном основании, который соответствует бинарной природе зависимой переменной, и удобно моделируется через логистическую функцию. Понимание этой связи необходимо для грамотного применения логистической регрессии в практике анализа данных и построения предсказательных моделей.