Регрессия в машинном обучении для скошенных данных

Я пытаюсь построить простую регрессионную модель для начала, но моя переменная Y сильно смещена вправо. Моя Y представляет собой количество просмотров в день для веб-страницы, и все значения выше 0. У меня есть 4 крупных выброса со значениями выше 1000, но все еще много значений выше 50, которые искажают распределение. Я не совсем уверен, как подойти к этому; стоит ли удалить все выбросы (много данных), провести нормализацию и сначала использовать линейную регрессию? Или мне не стоит нормализовать, а использовать какую-то другую регрессию, например, Тобита для смещенных данных (я не видел, чтобы это часто использовали в машинном обучении, но я новичок). Я немного неохотно удаляю данные с большим количеством просмотров в день, потому что они могут содержать полезную информацию… Буду благодарен за любую помощь, я прикладываю гистограмму, на которой я уже удалил много данных с правой стороны, потому что в противном случае действительно нельзя увидеть распределение. Моя предсказательная переменная будет текстом (вероятно, обработанным с помощью BERT embeddings).

ИЗМЕНЕНИЕ:
Я также прикладываю гистограмму, которую я получил после удаления большого объема данных справа и использования квадратного преобразования. Она все еще довольно смещена, так что я думаю, что один из нелинейных моделей — это лучший вариант:

no_outliers_df = data[data['views_per_day'] < 50]
plt.hist(np.sqrt(no_outliers_df['views_per_day']))
plt.show()

Существует несколько способов обработки искаженных данных в регрессионном анализе:

Логарифмическое преобразование: Это распространенный метод для обработки правосторонне смещенных данных. Оно может помочь нормализовать данные и сократить влияние выбросов. В вашем случае вы можете применить логарифмическое преобразование к вашей переменной Y (количество просмотров в день). Однако имейте в виду, что интерпретация коэффициентов будет в терминах процентного изменения, а не абсолютного.

Преобразование квадратного или кубического корня: Это другие типы преобразований, которые могут помочь снизить смещение. Преобразование квадратного корня особенно полезно при работе с подсчетами, такими как ваше количество просмотров в день.

Преобразование Бокса-Кокса: Это более общая форма преобразования, которая включает логарифмические, квадратные корни и обратные преобразования как специальные случаи. Оно находит лучшее степенное преобразование данных, которое снижает смещение до целевого значения, обычно нуля для нормализации.

Нелинейные модели: Если связь между вашими предикторами и откликов не линейная, вы можете рассмотреть нелинейные регрессионные модели или другие модели машинного обучения, которые могут работать с нелинейностью.

Квантильная регрессия: Этот тип регрессии не делает никаких предположений о распределении ошибки, так что это может быть хорошим выбором при работе с искаженными данными. Он предсказывает медиану (или другие квантили) отклика, а не среднее.

Робастная регрессия: Этот тип регрессии менее чувствителен к выбросам в данных. Он использует другую функцию потерь (такую как потеря Хюбера или двухквадратная потеря Тьюки), которая придает меньший вес выбросам.

Модель Тобита: Это тип регрессионной модели, используемый, когда переменная отклика цензурирована, т.е. у нее есть нижний или верхний предел. В вашем случае, поскольку количество просмотров в день не может быть меньше нуля, модель Тобита может быть уместной. Однако модели Тобита чаще используются в эконометрике, чем в машинном обучении.

Что касается работы с выбросами, важно понять, почему они присутствуют в ваших данных. Если они вызваны ошибками или аномалиями, возможно, целесообразно удалить их. Однако, если они представляют собой законные наблюдения, они могут содержать ценную информацию и не должны быть удалены. В этом случае использование метода, устойчивого к выбросам, такого как робастная регрессия или логарифмическое преобразование, может быть лучшим подходом.

Наконец, при работе с текстовыми данными вы можете рассмотреть возможность использования метода, который может обрабатывать высокоразмерные разряженные данные, такого как регуляризованная регрессия (Lasso или Ridge) или метод на основе деревьев (Случайный лес или Градиентный бустинг). Эти методы также могут обрабатывать нелинейность и взаимодействия между предикторами, что может быть полезно при работе с текстовыми данными.

Немного смещения допустимо. В реальном мире данные не всегда нормально распределены. Все, что вы можете сделать, это проверить наличие выбросов, проведя тест на квартили или найдя z-оценку. Выберите диапазон z-оценок и посмотрите, что вы можете достичь. Кроме того, эффективность модели может зависеть не только от одной функции, но и от других, поэтому обязательно проверьте распределение других функций из набора данных. Как только у вас будет представление о распределении данных всех функций, вы можете решать, хотите ли вы стандартизировать или нормализовать ваши данные.