Вопрос или проблема
Случай 1:
У меня есть следующая задача: Обучение на протяжении 3 последовательных дней для прогнозирования каждого 4 дня. Данные за каждый день представлены одним CSV файлом размером 24×25. Каждая точка данных в каждом CSV файле представляет собой пиксель.
Теперь мне нужно сделать следующее: предсказать день 4 (т.е. 4-й день), используя данные за дни 1, 2, 3 (т.е. три последовательных дня), затем рассчитать mse между предсказанными данными дня 4 и оригинальными данными дня 4. Назовем это mse1.
Аналогично, мне нужно предсказать день 5 (т.е. 5-й день), используя данные за дни 2, 3, 4, а затем рассчитать mse2 (mse между предсказанными данными дня 5 и оригинальными данными дня 5).
Мне нужно предсказать день 6 (т.е. 6-й день), используя данные за дни 3, 4, 5, а затем рассчитать mse3 (mse между предсказанными данными дня 6 и оригинальными данными дня 6).
……….
И наконец, я хочу предсказать день 93, используя данные за дни 90, 91, 92, рассчитать mse90 (mse между предсказанными данными дня 93 и оригинальными данными дня 93).
Я хочу использовать регрессию Риджа, линейную регрессию и модель LSTM. И у нас есть 90 mse для каждой модели.
Случай 2:
Здесь я использую метод, известный как “наивный прогноз” или “прогноз случайного блуждания”. Его часто трудно превзойти.
Наивный подход таков:
Предположение для любого дня – это просто данные предыдущего дня. Я имею в виду, что я просто предполагаю, что день 2 такой же, как день 1, предполагаю, что день 3 такой же, как день 2, предполагаю, что день 4 такой же, как день 3,….., предполагаю, что день 91 такой же, как день 90. Я имею в виду предсказать данные следующего дня, используя данные текущего дня (predicted_data = текущие_данные_дня). Затем рассчитать mse между данными следующего дня и данными текущего дня.
Результаты:
-
В случае 1 я наблюдаю, что очень часто простые методы (регрессионные модели) превосходят сложные (lstm) в условиях низкой выборки. Это удовлетворяет мои ожидания. Простые методы будут особенно конкурентоспособными в условиях низкого объема данных. “Конкурентоспособный” просто означает “меньшая ошибка предсказания”.
-
В случае 2 мы знаем, что наивный метод часто очень трудно превзойти, что означает меньший MSE, но он уступает простому регрессионному подходу в случае 1.
Мои вопросы:
-
Когда одна из простых регрессионных моделей (в случае 1) превосходит наивный метод (в случае 2)? Я имею в виду, как узнать конкретно, почему один простой метод превосходит другой наивный метод на моем конкретном наборе данных?
-
как глубже проанализировать мой набор данных, чтобы понять, почему один простой метод превосходит другой?
Мой пример выборки данных, например день 1, день 2, день 3, день 4.
.
Ответ или решение
Для понимания, когда простые регрессионные модели превосходят наивный метод, необходимо учитывать несколько ключевых аспектов, касающихся специфики данных, структуры модели и задачи прогнозирования. Давайте подробнее рассмотрим каждый из этих аспектов, чтобы дать вам полное представление о данном вопросе.
1. Сложность данных и их структура
Когда ваш набор данных мал по объему, как в вашем случае, низкая размерность может привести к тому, что простые методы, такие как линейная регрессия или ридж-регрессия, могут показать высокую эффективность. Эти методы легче подстраиваются под небольшие объемы данных и, как показала ваша практика, могут генерировать более точные прогнозы, чем сложные модели, такие как LSTM, которые требуют значительного объема данных для того, чтобы учиться и делать предсказания.
Таким образом, когда данные несложные икрайне ограничены, простые модели могут лучше анализировать данные, не склоняясь к переобучению, из-за своей низкой сложности.
2. Оценка метрики MSE
Для оценки эффективности различных моделей следует опираться на метрику среднеквадратичной ошибки (MSE). По результатам, которые вы представили, простые регрессионные модели продемонстрировали меньшую MSE в сравнении с наивным методом. Это может свидетельствовать о том, что в вашем наборе данных есть закономерности, которые проще охватить с помощью регрессии, чем просто повторяя предыдущие данные.
3. Статистическая информация и анализ данных
При анализе, чтобы понять, почему одна простая модель превосходит другую, можно провести визуализацию данных и исследование корреляции. Используйте следующие методы:
- Корреляционный анализ: Посмотрите, как связаны значения пикселей из разных дней. Например, если некоторые пиксели имеют сильную корреляцию между днями, это открывает возможность для использования регрессионных моделей.
- Графики зависимости: Постройте графики прогнозируемых значений по дням. Если вы наблюдаете тенденции, которые удачно уловливаются простой моделью, это подтверждает вашу гипотезу.
- Анализ временных рядов: Если данные представляют временной ряд, возможно, стоит воспользоваться методами, специфичными для этой задачи, например, анализ автокорреляции.
4. Параметры моделей и их настройка
Регрессионные модели, такие как ридж-регрессия и линейная регрессия, требуют тщательной настройки параметров. Возможно, использование регуляризации и отбор особенностей поможет еще более значительно улучшить производительность этих моделей. Если это сделано правильно, вы сможете избежать переобучения, которое часто встречается в сложных моделях.
5. Применение оценки к различным моделям
Убедитесь, что вы сравниваете предсказания одинаковым образом. Необходимо следить за тем, чтобы все модели использовали одни и те же наборы данных для обучения и тестирования. В результате вы сможете наиболее точно оценить эффективностью модели.
Выводы
Чтобы более детально разобраться, когда одна простая регрессионная модель может превзойти наивный метод на вашей специфической задаче, следует:
- Анализировать структуру и размерность данных.
- Использовать графические методы для визуализации и анализа взаимосвязей.
- Настраивать параметры моделей и проводить сравнения на идентичных тестовых наборах.
Таким образом, детальный анализ характеристик ваших данных и правильный выбор модели могут помочь вам добиться лучшей точности прогнозирования, показывая, что простые методы иногда могут оказаться более эффективными, чем сложные, из-за их способности к обобщению и устойчивости к переобучению.