Вопрос или проблема
Я читал о классификаторах с максимальным отступом в “Вводном курсе статистического обучения” и не мог понять, как рассчитывается перпендикулярное расстояние наблюдения (которое является вектором) от гиперплоскости? Я знаю, как это делается для 2D и 3D пространства, но формула (9.11) не имеет для меня смысла. Разве не должно использоваться МАГНИТУДА? Мог бы кто-нибудь помочь мне с этим, пожалуйста? 
Уравнение $(9.11)$ находится после скалярного произведения гиперплоскости и точки $x_i$. Автор пропустил нормализацию вектора. В задачах maximization нормализация не имеет значения, потому что величина нормализующего вектора является константой. Перпендикулярное расстояние точки $x_i (x_{i1}, x_{i2}, ….,x_{1p})$ от гиперплоскости равно: $\beta_0 + \beta_1x_{i1} + \beta_2x_{i2} + … + \beta_px_{ip}$
Вероятно, вы изучаете минимизацию затрат SVR. Автор пытается объяснить, как найти МАКСИМАЛЬНУЮ гиперплоскость.
- точка наблюдения $y_i$ и вычисленная точка (вычисление объяснено на изображении выше) находятся с одной стороны плоскости. Это обеспечит, что наш прогноз будет правильным по знаку
- максимизировать расстояние от гиперплоскости: это сделает регрессию устойчивой. Точки, более близкие к гиперплоскости, будут прогнозироваться правильно.
Ответ или решение
Для понимания, как вычисляется перпендикулярное расстояние наблюдения от максимального предельного гиперплоскости (Maximal Margin Hyperplane), важно рассмотреть основные принципы классификации с использованием Support Vector Machines (SVM), а также формулы, используемые в этом контексте.
Понимание максимального предельного гиперплоскости
Максимальный предельный гиперплоскость — это гиперплоскость, которая максимально разделяет данные различных классов, создавая максимальный зазор между ближайшими точками данных, что позволяет достигать оптимальной классификации. В SVM гиперплоскость определяется параметрами вектора весов (\beta) и смещения (\beta_0).
Формула для расчета перпендикулярного расстояния
Перпендикулярное расстояние от наблюдения (x_i) (где (xi = (x{i1}, x{i2}, \ldots, x{ip}))) до гиперплоскости может быть найдено с использованием следующей формулы:
[
d(x_i) = \frac{\beta_0 + \beta1 x{i1} + \beta2 x{i2} + \ldots + \betap x{ip}}{\sqrt{\beta_1^2 + \beta_2^2 + \ldots + \beta_p^2}}
]
Компоненты формулы
-
Числитель:
- Часть (\beta_0 + \beta1 x{i1} + \beta2 x{i2} + \ldots + \betap x{ip}) представляет собой значение, определяющее положение точки (x_i) относительно гиперплоскости. Это прекрасный пример применения скалярного произведения между вектором весов и входной точкой данных, с добавлением смещения (\beta_0).
-
Знаменатель:
- Знаменатель (\sqrt{\beta_1^2 + \beta_2^2 + \ldots + \beta_p^2}) — это величина нормализованного вектора весов, что позволяет нам преобразовать численное значение в перпендикулярное расстояние от точки до гиперплоскости.
Значение нормализации
Ваша озабоченность по поводу необходимости использования нормализации (величины) в данном случае вполне обоснованна. Важно отметить, что нормализация, как в этой формуле, обеспечивает согласованность расстояний между точками. Действительно, если бы мы не нормализовали вектор весов, расстояния могли бы быть несопоставимыми и более чувствительными к изменениям в данных.
Почему уравнение может возникнуть в контексте
Как упоминалось в вашем вопросе, в верхних разделах книги «Introduction to Statistical Learning» процесс построения максимального предельного гиперплоскости может казаться сложным без должного понимания. Формула (9.11) дает ясный инструмент для проверки положения каждой точки относительно гиперплоскости и, соответственно, определения классификации точки.
Заключение
Когда мы изучаем максимальные предельные гиперплоскости и перпендикулярные расстояния, важно понимать, что формула действительно отражает необходимую информацию, содержащуюся в весах и параметрах модели. Эти расстояния играют важную роль в работе SVM, обеспечивая эффективное разделение классов и возможность более надежных предсказаний. Надеюсь, это объяснение прояснит ваши сомнения и даст более четкое представление о методах, применяемых в SVM.