Получение прогнозов ежемесячной выручки для точек продаж

Мне часто ставят задачу прогнозирования ежемесячных доходов розничных торговых точек. Предположим, у меня есть обучающая выборка из N торговых точек, каждая из которых связана с рядом исторических ежемесячных доходов (целевое значение) и набором признаков, которые не зависят от времени (например, местоположение (и все связанные геопризнаки), тип магазина, торговая зона и т.д.). Затем у меня есть тестовая выборка из M торговых точек, для которых мне нужно прогнозировать ежемесячные доходы на указанный период времени (например, Q1-Q3 2019).

Обычный подход, который я использую, состоит в корректировке исторических доходов на обучающей выборке с учетом тренда, сезонности и инфляции, затем я беру среднее значение для каждой торговой точки и использую его в качестве целевого значения, обучаю свою регрессионную модель (это может быть что угодно, но в основном LightGBM), получаю прогнозы для тестовой выборки. Эти прогнозы снова являются средними значениями для каждой торговой точки, скорректированными по тренду, сезонности и инфляции, поэтому мне нужно корректировать их, чтобы получить ежемесячные прогнозы. В общем, схема выглядит так: исторические ежемесячные доходы -> скорректированное среднее как целевое значение -> скорректированное среднее как прогноз -> восстановленные ежемесячные прогнозы (надеюсь, это имеет смысл).

Весь подход довольно утомителен и кажется неестественным. Мне интересно, существуют ли каркасные решения, которые позволили бы использовать исторические ежемесячные доходы “как есть” в качестве целевого значения и производить прогнозы на указанный диапазон времени.

Конечно, существует панельная регрессия, но 1) мои признаки не изменяются со временем, поэтому идея кажется поверхностной и 2) градиентный бустинг в панельных регрессиях не является актуальной темой, поэтому реализации редки (если они вообще существуют).

Модели LTSTM очень хорошо работают с временными рядами, так что стоит начать с этого.

Кроме того, мне хотелось бы спросить, почему вам вообще нужно корректировать и пересчитывать вашу модель?

Даже более простые модели, такие как бустированные деревья, случайный лес или даже простая регрессия, должны давать хорошие прогнозы, просто включая тренды, сезоны и т.д. в качестве предикторов.

Правка:

Я пытаюсь сделать свой ответ немного более полным. Ваша проблема на самом деле является классической задачей прогнозирования продаж, особенно для розничных магазинов, таких как супермаркеты и т.д.

Отличным ресурсом, где вы можете увидеть решения этой проблемы, является:

Прогнозирование продаж Walmart на Kaggle

Вы найдете множество тетрадей с отличными подходами и решениями (например, на основе упомянутой модели LTSTM).

Но давайте также попробуем выделить базовое решение прямо здесь:

*Данные**
Предположим, у нас есть данные, которые выглядят примерно так:

Магазин  |  Месяц  |  Продажи  |  Размер_магазина  |  ...
Восток   |  Янв    |  $0.9M  |  500         |  ...
Восток   |  Фев    |  $1.1M  |  500         |  ...
Север    |  Янв    |  $1.5M  |  800         |  ...
Север    |  Фев    |  $2.0M  |  800         |  ...

Некоторые из переменных ... будут постоянными для каждого магазина (информация о магазине), некоторые будут связанны с датой (сезонные), а некоторые могут варьироваться для магазина и месяца (тренды).

Проблема

Попытка прогнозировать продажи магазина Запад на март, принимая во внимание все постоянные переменные, связанные с этим магазином, но НЕ трендовые переменные.

Важно учитывать сезонные переменные здесь! Это инженерные признаки, основанные на месяце. Например, мы можем легко вычислить влияние на продажи для каждого месяца (например, тренды, такие как рождественские распродажи и т.д.) это не тренды, поскольку они зависят ТОЛЬКО от месяцев и не от каких-либо других паттернов.

Решение

Предположим, мы подбираем модель XGB для прогнозирования продаж, самым простым решением было бы использовать только признаки в модели, которые будут доступны на момент прогнозирования, то есть только сезонные данные и информацию о магазине.

Это может уже привести к очень хорошей модели и может быть достаточным для прогнозирования. Если у вас нет информации о трендах, вы не можете добавить их в модель и, следовательно, не должны.

Тем не менее, вы можете легко создать трендовые данные на основе моделей GAN или MICE для дополнения ваших данных.

Наконец, пожалуйста, поймите: модели машинного обучения работают лучше всего, если вы просто используете все доступные данные и не перегружаете себя слишком сложным отбором и обработкой признаков. XGB и подобные модели сами идентифицируют тренды и моделируют идеальные соотношения между другими факторами для вас.

Степень свободы и т.д. здесь действительно не применима.

Просто краткая заметка о панельной регрессии. Если вы посмотрите на фиксированные эффекты (“фиксированный” означает, что у каждого магазина есть своя “идентичность”), тогда вы можете просто применить “регрессию по методу наименьших квадратов с фиктивными переменными” (LSDV). LSDV – это просто другой способ представления фиксированных эффектов. Идея заключается в том, что у вас есть модель, такая как:

$$y=\beta_0+\beta_1 X + \gamma I + \theta t + \lambda I_t + u.$$

Предположим, $y$ – это доход, $X$ – это временные постоянные переменные, $I$ – это набор “фиктивных переменных” (каждому магазину, кроме одного, соответствует свой фиктивный индикатор), $t$ – это переменная счетчика времени, а $I_t$ – это индикатор (скажем) месяца года. $I$ будет захватывать “фиксированные эффекты” магазина, а $t$ будет учитывать такие факторы, как инфляция, в то время как $I_t$ будет учитывать ежемесячные эффекты.

Хотя такие модели обычно используются в линейных настройках (например, метод наименьших квадратов), их также можно применять в других настройках. Я бы посоветовал посмотреть на “обобщенные аддитивные модели” (GAM), которые являются обобщениями линейных моделей, но которые способны захватывать “дикие” нелинейные эффекты. Вот пример для GAM на R. Я думаю, что логика модели также будет обобщаться на подходы бустинга. Однако в конечном итоге это зависит от проб.