Советы по предсказательной модели прогнозирования

Вопрос или проблема

Я работаю в компании, которая занимается государственными субсидиями и грантами, и в настоящее время сталкиваюсь с проблемой прогнозирования. Каждый год выделяется фиксированная сумма на различные мероприятия, и моя задача — прогнозировать общую сумму грантов, выплачиваемую заявителям за каждый месяц, классифицированную по отдельным грантам. По сути, это задача распределения бюджета/прогнозирования, и я пытаюсь найти научный подход для замены текущего метода.

Существует ряд задач:

Разнообразные гранты: мы управляем почти 100 различными грантами, охватывающими различные фонды и мероприятия.
Разнородность: гранты сильно различаются по своим требованиям и суммам выплат. Некоторые выплачиваются непрерывно каждый период, в то время как другие выплачиваются только в определенные месяцы.
Данные: у меня есть несколько лет исторических данных, которые фиксируют эти различные закономерности, но сочетание непрерывных и эпизодических выплат усложняет процесс прогнозирования.

Что я рассматривал:

Модели временных рядов: ARIMA/SARIMA и экспоненциальное сглаживание в качестве базовых моделей.
Подходы машинного обучения: исследование моделей на основе деревьев или ансамблевых методов для выявления нелинейных зависимостей и взаимодействий.
Иерархическое прогнозирование: поскольку данные структурированы по различным фондам и мероприятиям, я рассматриваю иерархические или групповые методы прогнозирования, чтобы обеспечить согласованность и учесть внутреннюю структуру.

Ищу рекомендации по наиболее эффективным подходам к моделированию или их комбинациям, которые хорошо работают с такими неоднородными наборами данных. Стратегии промежуточной обработки, которые могли бы эффективно учитывать двойственную природу непрерывных versus эпизодических выплат грантов. Советы о том, как включить фиксированные ежегодные выделения и специфические детали мероприятий в модель. Любые актуальные научные статьи, кейсы или инструменты, которые решали аналогичные задачи прогнозирования.

Буду благодарен за любые идеи, советы или подсказки. Заранее спасибо за вашу помощь!

Ответ или решение

Ваша задача по прогнозированию выплат по грантам, распределяемым в рамках фиксированного бюджета, представляет собой интересный вызов, требующий сочетания различных подходов и метода анализа данных. Важно учитывать уникальные особенности данной задачи: разнообразие грантов, их неоднородные требования и исторические данные, которые отражают текущее и прошлое поведение.

Теория

Прогнозирование выплат по грантам, учитывая фиксированный бюджет и разнообразие характеристик грантов, требует применения комплексного подхода, который сочетает временные ряды, машинное обучение и иерархическое прогнозирование. Каждая из этих методик может предложить полезные инструменты и техники, которые помогут справиться с поставленной задачей.

Временные ряды (ARIMA/SARIMA, экспоненциальное сглаживание) особенно успешны в задачах, связанных с временной зависимостью и сезонностью. Эти модели эффективны для прогнозирования будущих значений на основе трендов и сезонных изменений, наблюдаемых в прошлом.

Машинное обучение — деревья решений и ансамблевые методы, такие как случайный лес или градиентный бустинг, — позволяют обнаруживать нелинейные зависимости и взаимодействия между переменными, которые могут быть неуловимы для традиционных методов временных рядов. Эти методы эффективны благодаря своей способности обрабатывать большое количество переменных и сложные взаимодействия.

Иерархическое прогнозирование важно в данных, структурированных по фондам и мероприятиям, поскольку оно помогает сохранить согласованность между прогнозами и учитывать вложенные структуры данных.

Пример

Допустим, примером успешного применения такой комбинации подходов может служить крупная организация, распределяющая научные гранты, где каждое направление исследований имеет свои нюансы. Они использовали смешанные модели временных рядов для прогнозирования сезонных заявок и выплат, а алгоритмы машинного обучения помогли выявить скрытые зависимости между характеристиками заявок и вероятностью их успешного финансирования.

Применение/Советы

Моделирование данных временных рядов: Поскольку гранты выплачиваются в разные сроки, начинает с анализа отдельных групп данных по специфическим характеристикам грантов. ARIMA или SARIMA подойдут для тех, кто имеет строго периодические выплаты.
Использование машинного обучения для выявления нелинейных зависимостей: Деревья решений или нейросети помогут вам обнаружить сложные зависимости между заявками на стипендии и выплатами. Вы можете рассмотреть примеры алгоритмов, таких как XGBoost для маршрута ансамблевых методов.
Иерархическое или группированное прогнозирование: Это максимально эффективно для того, чтобы учитывать многоуровневость вашей структуры данных. Принципы иерархического временнóго ряда помогут наладить согласованность между бюджетными уровнями и видами грантов.
Фичер инжиниринг и включение фиксированных годовых бюджетов: Работайте над созданием дескриптивных признаков, чтобы лучше понять, как исторические и текущие изменения в выплатах отражают тип гранта. Включение информации о бюджетах в модель улучшит точность прогнозов.
Исследовательская и практическая литература: Обратите внимание на исследования по иерархическим временным рядам и прогнозированию в финансах, что может выделить интересные методы для вашего случая. Используйте открытые библиотечки, такие как Prophet (Facebook) и библиотеки машинного обучения (Scikit-learn, TensorFlow) для экспериментирования.

Задача прогнозирования выплат при фиксированном бюджете за январь может быть сложной, но с помощью комплексного подхода, сочетающего дисциплины и технологии, вы сможете разработать эффективную модель. Исследуя варианты и анализируя данные продуманно и систематично, вы максимально уменьшите погрешности.