Вопрос или проблема
У нас есть два временных ряда – столбец A является эталонным столбцом ( источник истинных данных), а столбец B является «кузином» столбца A, в том смысле, что он демонстрирует (или должен демонстрировать) те же паттерны, эволюцию, скорости изменения и т.д., что и столбец A.
Однако в определенные периоды значения столбца B по причинам, не зависящим от нас, начинают показывать аномальные значения, которые мы готовы классифицировать как выбросы. Мы готовы удалить эти значения как выбросы.
Теперь, учитывая неравные временные ряды (после удаления выбросов из столбца B), мы хотели бы изучить методы машинного обучения, которые могли бы дополнить данные в столбце B, используя столбец A в качестве эталона или источника истинных данных, эффективно воспроизводя поведение столбца A для дополнения недостающих данных в столбце B.
Я исследовал многие модели, такие как регрессия, LTSM и т.д., надеясь на некоторую экспертизу, которая могла бы прояснить, какой метод лучше всего подойдет для данной задачи.
Если столбец B действительно демонстрирует те же паттерны, эволюцию и скорость изменения, что и столбец A, это означает, что значения столбца B просто являются переводом A. То есть, $B_i = A_i + c$, где $c$ – это некоторый констант.
Если это так, то вам не нужны методы машинного обучения для дополнения значений. Знание $A$ так же полезно, как знание $B$. Вам просто нужно оценить $c$. Один из хороших способов оценить $c$ – это вычислить среднюю разницу между $B$ и $A$.
С другой стороны, если B связан с A, но не демонстрирует точно такие же паттерны и скорость изменения, тогда методы машинного обучения могут быть немного более подходящими. Вам нужно будет обучить регрессионную модель, которая предсказывает B как функцию от A, а затем использовать модель для заполнения недостающих значений B.
Учитывая степень связи, которую вы описываете между A и B, линейная регрессия, вероятно, будет хорошим началом. Вы можете поэкспериментировать с полиномами более высокого порядка (квадратичными, кубическими и т.д.), если линейная регрессия не справится с задачей. Легкий способ начать – это поэкспериментировать с полиномиальной регрессией в Excel или Python.
Ответ или решение
Обработка отсутствующих данных в временных рядах с использованием машинного обучения
В условиях, когда один временной ряд (столбец A) служит опорным и истинным, а другой (столбец B) показывает аномальные значения на определенных интервалах, задача интерполяции отсутствующих данных в столбце B требует применить специфические методы и подходы. Рассмотрим, как правильно подойти к этой задаче с использованием машинного обучения.
1. Понимание отношений между столбцами A и B
Первоначально важно проанализировать, действительно ли столбец B представляет собой преобразование столбца A. Если можно считать, что значения B можно выразить как $B_i = A_i + c$, где $c$ – постоянная величина, то имитация B может быть выполнена без применения сложных машинных методов, достаточно будет просто вычислить среднюю разницу между значениями A и B, после чего добавлять её к A для заполнения пропусков.
Однако, если столбец B имеет характеристики, которые не совпадают с A (например, разные тренды или колебания), использование машинного обучения становится более актуальным.
2. Выбор метода машинного обучения
Следующий шаг – выбор подходящего алгоритма. Рассмотрим несколько методов:
-
Линейная регрессия: Это основной метод, подходящий для прогнозирования значений B на основе A. Если зависимость между столбцами линейная, этот метод даст довольно хорошие результаты. При наличии нелинейных зависимостей рекомендуется попробовать полиномиальную регрессию более высоких порядков (квадратичные или кубические модели).
-
Регрессия с учетом временных рядов (LSTM): Если столбцы A и B показывают сложные закономерности во времени, LSTM (долгосрочная краткосрочная память) может быть подходящей моделью для научения времени и зависимости. Этот метод особенно хорош для обработки последовательностей и захвата долгосрочных зависимостей во временных рядах.
-
Деревья решений и ансамблевые методы: Такие алгоритмы, как случайный лес или градиентный бустинг, могут использоваться для сложных отношений между A и B. Эти модели могут выявлять и учитывать больше признаков, что может привести к улучшению точности предсказаний.
3. Сбор данных и предобработка
Перед тем как приступить к обучению модели, необходимо выполнить предварительную обработку данных:
- Удаление выбросов в столбце B.
- Заполнение пропусков (например, методом линейной интерполяции) для столбца A, если они есть.
- Нормализация или стандартизация данных при необходимости.
4. Обучение и валидация модели
После выполнения всех предшествующих шагов модель можно обучить на обучающей выборке и провести валидацию на тестовой. Следует обращать внимание на такие метрики, как средняя абсолютная ошибка (MAE) или RMSE (корень из среднеквадратичной ошибки), чтобы оценить, насколько качественно модель предсказывает значение столбца B.
5. Имплементация и новые данные
После успешного обучения модели на имеющихся данных, важно следить за производительностью модели на новых данных. Это может потребовать регулярной переоценки или повторного обучения модели для поддержания ее актуальности и точности.
Заключение
При работе с временными рядами и методами машинного обучения для интерполяции данных важно понимать отношения между переменными, тщательно выбирать методы, подходящие для ваших данных, и проводить тщательную предобработку и валидацию. Правильно внедренный подход увеличит точность прогнозов и глубину понимания анализируемых данных.