Как использовать внешние наборы данных в тестовом наборе данных?

У меня есть сомнения относительно использования внешних данных, таких как уровень ВВП, уровень безработицы и т.д., в тестовом наборе для прогнозирования временных рядов. Эти данные являются историческими и могут использоваться вместе с обучающим набором, но как их использовать вместе с тестовым набором? Нужно ли сначала их прогнозировать, а затем использовать с тестовым набором, или существуют более эффективные способы?

Общая идея заключается в том, что вы должны использовать одни и те же данные в ваших обучающих, тестовых и прогнозных наборах. Для экономических данных это может быть непросто:

• В вашем обучающем наборе вам нужно получить данные, которые были доступны в определенное время. Это может быть сложно, потому что чаще всего такие экономические данные могут пересматриваться задолго после их первого опубликования. Например, в моей стране, я думаю, ВВП может пересматриваться до 3 лет после первоначальной публикации. Так что, например, если у вас есть экземпляр в 2015 году в вашем обучающем/тестовом наборе, вам нужно получить данные, которые были доступны в 2015 году, а не пересмотренные цифры, которые могли появиться до 2018 года.

• В вашем тестовом наборе и для общего прогноза фактическое значение может быть оценкой того, что происходит в данный момент (nowcasting), поэтому вы должны убедиться, что ваши источники данных согласованы. Техники nowcasting иногда используются для получения текущих значений (например, чтобы получить представление о деятельности гостиничного сектора, можно посмотреть на количество бронирований на booking.com и т.д.). Эти техники совершенно отличаются от тех, которые обычно используются для получения окончательных чисел (агрегация налоговых деклараций). В идеале, вы должны убедиться, что методы согласованы между обучающим, тестовым и прогнозным наборами. Использование других методов для получения данных для прогноза не должно быть полностью исключено, но должно сопровождаться очень строгими предупреждениями.

Любые данные могут использоваться в тестовом наборе, если у данных есть метки.

Внешние данные часто используются в тестовом наборе, чтобы увидеть, насколько хорошо модель может обобщать на невидимые данные.

При работе с прогнозированием временных рядов включение внешних данных в фазы обучения и тестирования может предоставить ценную информацию для улучшения производительности модели. Вот некоторые распространенные подходы:

1. Включение исторических значений в обучающие данные:

   • Включите исторические значения внешних факторов (например, уровни ВВП, уровень безработицы) в ваш обучающий набор данных вместе с соответствующей целевой переменной (переменной, которую вы пытаетесь прогнозировать).
   • Обучите вашу модель временного ряда на этом расширенном наборе данных, чтобы она могла изучать закономерности и отношения между целевой переменной и внешними факторами.

2. Использование лаговых значений внешних факторов:

   • Включите лаговые значения внешних факторов как в обучающие, так и в тестовые наборы данных. Это означает использование прошлых значений внешних факторов в качестве дополнительных входных характеристик для каждого временного шага.
   • Например, если вы прогнозируете целевую переменную для времени t, включите значения внешних факторов за времена t-1, t-2 и т.д., как дополнительные входные характеристики.

3. Прогнозирование внешних факторов для тестового набора:

   • Обучите отдельную модель для прогнозирования будущих значений внешних факторов для тестового периода. Эта модель может обучаться на исторических данных для этих факторов.
   • Используйте предсказанные значения внешних факторов как входные данные для вашей модели временного ряда во время тестирования.

4. Метод скользящего окна:

   • Обучите вашу модель на скользящем окне исторических данных, и для каждого прогноза в тестовом наборе переобучайте модель с дополнительными историческими данными до этого момента.
   • Таким образом, модель постоянно адаптируется к изменяющимся паттернам как в целевой переменной, так и в внешних факторах.

5. Ансамблевые модели:

   • Скомбинируйте предсказания от различных моделей. Например, вы можете иметь одну модель, которая фокусируется на прогнозировании целевой переменной, и другую модель, которая фокусируется на прогнозировании внешних факторов. Скомбинируйте их предсказания для улучшения общей производительности.

6. Инженерия характеристик:

   • Создайте новые характеристики на основе внешних данных, которые могут захватить важную информацию для прогнозирования целевой переменной. Например, создать скользящее среднее по уровню ВВП за определенный период.