Является ли набор данных линейно разделимым, если его можно разделить только с помощью нескольких гиперпланов?

Например, в статье Википедии о линейной разделимости приведен следующий пример:

Говорится: “Следующий пример требует двух прямых линий и, следовательно, не является линейно разделимым”.

С другой стороны, в книге Бишопа “Распознавание образов и машинное обучение” он говорит: “Наборы данных, классы которых могут быть точно разделены линейными поверхностями решений, считаются линейно разделимыми”.

Согласно определению Бишопа о линейной разделимости, я считаю, что пример из Википедии будет линейно разделим, несмотря на то, что автор этой статьи говорит иначе. Это потому, что Бишоп утверждает, что мы можем использовать несколько линейных поверхностей решений (гиперплоскостей) для разделения классов, и это все еще считается линейно разделимыми данными. Бишоп подразумевает это, упоминая линейные поверхности решений во множественном числе, а не в единственном.

Логически я согласен с Бишопом. В конце концов, классы в примере из Википедии разделяются линейными поверхностями решений. Так как же можно тогда утверждать, что набор данных не линейно разделим? Возможно, вы могли бы установить правило, что набор данных является линейно разделимым только тогда, когда мы можем разделить $N$ классов с помощью $N-1$ поверхностей решений. Но зачем определять линейную разделимость таким образом?

Так линейно ли разделим пример из Википедии или нет?

Проще говоря: Линейно разделимый = линейный классификатор может справиться с задачей. Вы можете подогнать одну прямую линию, чтобы правильно классифицировать ваши данные.

Технически любую задачу можно разбить на множество малых линейных поверхностей решений; то есть, вы приближаете нелинейную функцию с помощью большого количества малых линейных границ. Это то, что делают нейронные сети с активациями ReLU, кстати, но никто не скажет, что нейронные сети являются линейными моделями.

В математике и машинном обучении набор данных считается линейно разделимым, если существует хотя бы одна гиперплоскость, которая может полностью разделить данные разных классов без какого-либо перекрытия или ошибочной классификации. Это означает, что в (n)-мерном пространстве гиперплоскость (которая является (n-1)-мерным аффинным подпространством) должна быть способна создать разделение, которое помещает все точки, принадлежащие одному классу, с одной стороны, а точки, принадлежащие другому классу, — с противоположной стороны.

Давайте более подробно рассмотрим, почему существование нескольких гиперплоскостей все еще соответствует концепции линейной разделимости.

1. Существование нескольких гиперплоскостей

Линейная разделимость не означает, что есть только одна гиперплоскость, разделяющая классы. Это просто означает, что как минимум одна гиперплоскость должна существовать. На самом деле, когда набор данных линейно разделим, часто существует много гиперплоскостей, которые могут справиться с задачей. Вы можете представить, что слегка переместите или повернете гиперплоскость, и, пока она продолжает правильно разделять классы, это по-прежнему будет допустимым решением.

Таким образом, наличие нескольких таких гиперплоскостей не противоречит определению; это просто показывает, что есть гибкость в выборе, какую использовать.

2. Случай нелинейной разделимости и несколько гиперплоскостей

Если набор данных требует нескольких гиперплоскостей для разделения классов, это подразумевает, что ни одна одинственная линейная функция (гиперплоскость) не может полностью разделить классы. Эта ситуация возникает, когда набор данных является нелинейно разделимым. В таких случаях одной гиперплоскости недостаточно, и вам нужно использовать несколько границ (гиперплоскостей) или преобразовать данные в более высокую размерность, чтобы достичь разделения (например, используя методы ядра в опорных векторах).

3. Математическая интерпретация: функция решения и минимизация потерь

Когда мы хотим проверить, является ли набор данных линейно разделимым, мы пытаемся найти функцию решения — обычно линейную функцию в следующей форме:

f(\mathbf{x}) = \mathbf{w}^T \mathbf{x} + b

Эта функция классифицирует данные на основе параметров (\mathbf{w}) и (b) (вектор весов и сдвиг). Цель состоит в том, чтобы найти эти параметры таким образом, чтобы минимизировать ошибки классификации, используя одну функцию потерь.

Однако, если вам нужно одновременно несколько гиперплоскостей (например, пересекающихся или отдельных гиперплоскостей), это означает, что вам придется минимизировать несколько функций потерь одновременно. Математически это проблема, потому что невозможно одновременно минимизировать две или более отдельные функции потерь для одной границы решения. Это показывает, что данные не являются линейно разделимыми, потому что ни одна одинственная линейная функция не может разделить классы.

4. Геометрическая интуиция и вложение в более высокую размерность

Если вы обнаружите, что требуется несколько гиперплоскостей, это может означать, что данные на самом деле могут быть разделены в пространстве более высокой размерности. Такие методы, как методы ядра или нейронные сети, могут преобразовать данные в пространство, где одна гиперплоскость может разделить классы. Это показывает, что данные нелинейны в исходном пространстве и нуждаются в преобразовании, чтобы стать линейно разделимыми.

В итоге, если набор данных требует нескольких гиперплоскостей для разделения, это не является линейно разделимым по определению. Линейная разделимость требует существования одной гиперплоскости, которая справится с задачей, даже если таких гиперплоскостей может быть много. Использование нескольких гиперплоскостей подразумевает, что данные нелинейны и требуют более сложных границ решений.