Набор данных, с которым я работаю, кажется, был искусственно создан, и целевая переменная имеет одинаковое среднее значение независимо от разделения.

Я пытаюсь запустить Random Forest на наборе данных, содержащем 4 синтетических признака с распределением от примерно -5 до 5. Невозможно сказать, что означают эти признаки.

Также в наборе данных есть product_id, customer_id, product_category и customer_segment. Абсолютно отсутствует корреляция между синтетическими признаками и целевой переменной (общие продажи), и независимо от того, по какому столбцу я группирую (product_id, customer_id, product_category или customer_segment) и нахожу среднее значение total_sales, среднее значение одинаково для каждого уровня и очень близко к среднему total_sales для всего набора данных.

Когда я запускаю Random Forest, включая все вышеперечисленные переменные (синтетические, которые являются числовыми, и другие, которые являются категориальными), модель ужасно проваливается на тестовом наборе и предсказывает среднее общее количество продаж для каждой строки, хотя на обучающем наборе она работает лучше, я думаю, это указывает на переобучение. Если я пытаюсь контролировать переобучение, устанавливая, например, значение max_depth равным 10, модель снова возвращается к средним общим продажам и предсказывает почти одно и то же значение для каждой строки.

Есть ли какие-то обходные пути для этого, или это просто бессмысленный набор данных?

Заранее спасибо

(Перед этим ответом пользователь @Harshad Patil дал ответ, который кажется мне очень похожим на ChatGPT. Поэтому я попробовал ввести вопрос в GPT-4 и получил ответ ниже, который выглядит очень похожим на его. Ответ @Harshad Patil был впоследствии удален, но я оставляю этот ответ здесь как ссылку.)

Вводя вопрос в GPT-4, я получил аналогичный ответ как у @Harshad:

Из вашего описания кажется, что в вашем наборе данных может не быть достаточно информации для предсказания целевой переменной (общих продаж). Вот несколько вещей, которые вы, возможно, захотите рассмотреть:

1. Важность признаков: Random Forest предоставляет способ измерения важности каждого признака в предсказании. Вы можете проверить важность признаков, чтобы увидеть, вносят ли синтетические признаки или какие-либо другие признаки вклад в предсказание. Если синтетические признаки не вносят большого вклада, вы можете рассмотреть их удаление.

2. Корреляция: Вы упомянули, что нет корреляции между синтетическими признаками и целевой переменной. Это может быть основной причиной, почему ваша модель не работает хорошо. Модели машинного обучения, включая Random Forest, полагаются на паттерны и связи между признаками и целевой переменной. Если нет корреляции, модель может не быть в состоянии чему-то полезному научиться из этих признаков.

3. Переобучение: Переобучение происходит, когда модель изучает детали и шум в обучающих данных до такой степени, что это негативно сказывается на производительности модели на новых данных. Это означает, что шум или случайные колебания в обучающих данных подхвачены и изучены моделью как концепции. Вы можете попытаться контролировать переобучение, используя такие техники, как кросс-валидация, регуляризация или увеличивая размер вашего набора данных, если это возможно.

4. Качество данных: Также возможно, что качество вашего набора данных недостаточно хорошее. Вы, возможно, захотите проверить, есть ли ошибки в ваших данных или есть ли выбросы, которые могут влиять на производительность вашей модели.

5. Выбор модели: Random Forest может не быть лучшей моделью для вашего набора данных. Вы можете попробовать другие модели, такие как линейная регрессия, машины опорных векторов или нейронные сети, и посмотреть, работают ли они лучше.

6. Обработка признаков: Вы можете попробовать создавать новые признаки из существующих. Например, вы можете создать взаимодействующие признаки, или вы можете попытаться преобразовать синтетические признаки, чтобы сделать их более полезными.

Помните, что машинное обучение – это итеративный процесс. Важно пробовать разные вещи и смотреть, что работает лучше всего. Если ни одно из вышеприведенных предложений не сработает, возможно, что ваш набор данных действительно бессмысленный для данной задачи.