Коэффициент детерминации R2 регрессионной модели снижается, когда я удаляю выбросы: разве такое возможно?

Я анализирую, как выбросы в наборе данных размером 8×8000 влияют на регрессионные модели. У меня есть три сценария: исходный набор данных (с выбросами), усечённый набор данных (исправлено 2% выбросов) и набор данных без выбросов (строки с выбросами удалены). Я обучил как линейную регрессию, так и модели SVM. Значение R² постепенно снижается по мере уменьшения числа выбросов:

• Исходный набор данных: R² = 0,98,
• Усечённый набор данных: R² = 0,94,
• Без выбросов: R² = 0,89.

С моего опыта, удаление выбросов улучшает работу модели, но на этот раз все наоборот. Может ли это быть связано с переобучением на выбросы в исходных данных? Есть ли другие метрики, которые я должен проанализировать, чтобы лучше понять это поведение? Это связано с тем, как я преобразовывал данные (логарифм + стандартное масштабирование)? Есть ли статьи в IEEE или других академических изданиях, которые обсуждают влияние выбросов на регрессионные и модели машинного обучения?

Я собираюсь привести пример, почему интуитивно снижение $R^2$ после удаления выбросов не должно вас удивлять.

Предположим, вы хотите изучить связь между весом и ростом собак. Итак, вы собираете множество данных, включающих всё от маленьких чихуахуа до больших немецких овчарок. Вес варьируется от 2 до 20 кг, а рост — от 20 до 80 см. По какой-то причине у вас в данных также находится один жираф; он весит 800 кг и имеет рост 4 метра. Это ваш выброс.

Теперь, если вы построите график всего набора данных и выполните линейную регрессию, вы обнаружите сильную корреляцию между весом и ростом. Линия пройдет через центр облака фактических данных о собаках и через одну точку жирафа. Отклонения между точками данных и линией регрессии будут небольшими, и $R^2$ будет высоким.

После построения графика данных вы замечаете выброс — жирафа, удаляете его, перестраиваете график и повторяете линейную регрессию. Вы сильно увеличиваете график, диапазон данных как по шкале веса, так и по шкале роста значительно меньше. Корреляция между ростом и весом среди собак не очень велика. Данные представляют собой просто большое облако точек. Ваш $R^2$ значительно меньше.

Обычный способ вычисления $R^2$ предполагает соотношение остаточной и общей дисперсии.

$$
R^2 = 1-\dfrac{
\text{
Остаточная дисперсия
}
}{
\text{
Общая дисперсия
}
}
$$

Если вы удаляете выброс, вы можете значительно уменьшить общую дисперсию без значительного уменьшения остаточной дисперсии. В этом случае удаление выброса приведет к снижению $R^2$.

Учитывая комментарий о том, что MSE (связанное с остаточной дисперсией) снижается в то время как $R^2$ также снижается, я нахожу это объяснение весьма вероятным.

Давайте посмотрим на моделирование.

library(MASS)
library(ggplot2)
set.seed(2024)

# Давайте смоделируем данные с слабой корреляцией, но без выбросов
#
N <- 999
XY <- MASS::mvrnorm(
  N, 
  c(0, 0),
  матрица(c(
    1, 0.3,
    0.3, 1
  ), 2, 2)
)
d1 <- data.frame(
  x = XY[, 1],
  y = XY[, 2],
  Set = "Без выбросов"
)

# Посмотрите на график
#
ggplot(d1, aes(x = x, y = y)) +
  geom_point()

# Добавим выброс, например, жирафа (взять идею из другого ответа)
#
d2 <- data.frame(
  x = c(XY[, 1], 99),
  y = c(XY[, 2], 101),
  Set = "Есть выброс"
)

# Посмотрите на график
#
ggplot(d2, aes(x = x, y = y)) +
  geom_point() 

# Построим линейные регрессии с и без выбросов
#
L1 <- lm(d1$y ~ d1$x)
L2 <- lm(d2$y ~ d2$x)

# Напечатать сводки регрессий и данных
#
# R^2
#
summary(L1)$r.squared # Я получаю R^2 = 0.09568171 без выброса
summary(L2)$r.squared # Я получаю R^2 = 0.8828702 с выбросом
#
# Общая дисперсия
#
var(d1$y) # Я получаю общую дисперсию y без выброса: 0.9963245
var(d2$y) # Я получаю общую дисперсию y с выбросом: 11.1925
#
# Остаточная дисперсия
#
var(resid(L1)) # Я получаю остаточную дисперсию без выброса: 0.9496832
var(resid(L2)) # Я получаю остаточную дисперсию с выбросом: 1.310975

Без выброса существует слабая, но существующая связь между двумя переменными.

С выбросом существует гораздо более сильная связь между двумя переменными.

Несмотря на то, что $R^2$ с выбросом значительно выше, он имеет более высокую остаточную дисперсию. Это потому что общая дисперсия намного выше, когда есть выброс. Просто посмотрите, насколько более разрежены данные, когда выброс включён.

Если удаление выбросов увеличивает RMSE, но снижает MAE, это может указывать на то, что модель слишком точно соответствовала выбросам. Вы также можете проверить распределение остатков до и после удаления выбросов. Если удаление выбросов увеличивает дисперсию остатков, возможно, выбросы содержат значимую информацию. Также, если ваши данные имеют непостоянную дисперсию, удаление выбросов могло создать дисбаланс.