Вопрос или проблема
Я хотел бы визуализировать большое количество событий, состоящих из временных окон. Типичное событие будет выглядеть так:
Проблема в том, что мои события не синхронизированы, и если я отложу их все, это будет выглядеть так:
Вопрос
Существует ли способ визуализировать все мои события так, чтобы я мог увидеть их оригинальную/”типичную” форму (предпочтительно в временной области), несмотря на их несинхронизацию?
Что я пробовал до сих пор:
- Визуализация признаков: подход хороший, но мне нужно догадываться, что именно я ищу.
- Синхронизированные события: в приведенном выше примере это может быть возможно, но в некоторых других случаях – нет. (например, несколько пиков, разделенных разными временными промежутками)
- Использование статистических значений для визуализации: это был мой первый шаг, чтобы отложить не все события, а только их
среднее,медиану,p95,… Проблема в том, что использование этого подхода дает деформированное представление данных из-за несинхронизации:
Что я обдумывал
Основная проблема применения среднего, p95 или любой другой статистической функции заключается в том, что она применяется вдоль оси, которая не синхронизирована между событиями. Я не знаю, существует ли это или возможно ли это вообще, но я думал о подходе, который отображал бы эти статистические значения, проверяя их временных соседей? Я знаю, что Динамическое выравнивание времени занимается этой несинхронизацией, но я не уверен, если и как я мог бы использовать это, чтобы отложить мои события так, как я хотел бы.
Идея возможного вывода могла бы выглядеть так (любая другая идея вывода приветствуется!):
Любая помощь или идея будет очень полезна! Спасибо
Что касается оценки схожести между временными рядами, существует множество методов, которые вы можете рассмотреть. Некоторые из них:
- кросс-корреляция: на это будет влиять амплитуда, и она не сможет оценить задержанные корреляции, подвержена шуму.
- когерентность: нормализованная частотная корреляция (кросс-спектр), не подвержена амплитуде или шуму.
- коherence вейвлетов: аналогично вышеуказанному, но основано на вейвлет-преобразованиях вместо STFFT.
- динамическое выравнивание времени: измерение схожести между двумя временными последовательностями, которые могут изменяться по скорости.
Ответ или решение
Для визуализации не синхронизированных временных рядов существует несколько подходов, которые могут помочь сохранить оригинальную форму событий даже при их различной временной структуре. Когда события нельзя просто выровнять по времени, стоит рассмотреть использование методов, способных учитывать вариативность временных промежутков между ними.
Основные подходы к решению проблемы:
-
Динамическое временное выравнивание (Dynamic Time Warping – DTW):
Этот метод позволяет сравнивать и выравнивать временные ряды, которые могут иметь разную длину и не совпадать по времени. DTW вычисляет расстояние между двумя временными рядами, находя оптимальное выравнивание временных точек. Ваша задача могла бы быть решена путем применения DTW к вашим событиям, чтобы оценить, как различные временные серии похожи друг на друга. После выравнивания можно визуализировать среднее значение всех выровненных сигналов. -
Построение кластеров по времени:
Разделите ваши временные ряд на кластеры, учитывая временные и амплитудные характеристики. Это позволит вам сгруппировать похожие события вместе, что упростит визуализацию. Используйте алгоритмы кластеризации, такие как K-средние или агломеративная кластеризация, с дальнейшим выполнением DTW для нахождения надежного сравнения внутри кластеров. -
Использование статистических методов с учетом соседей:
Вместо того чтобы рассчитывать средние значения или другой статистический показатель по всему диапазону временных рядов, вы можете рассмотреть возможность вычисления локальных статистик, где значение зависит от соседних временных точек. Это может быть реализовано с помощью скользящего окна или других методов анализа соседних наблюдений. -
Применение вейвлет-преобразования:
Вейвлет-преобразование позволяет анализировать временные изменения в частотном диапазоне и может быть полезно для оценки согласованности форм событий. Вейвлеты могут помочь выявить скрытые паттерны в данных и визуализировать их более эффективно, чем стандартные методы. -
Визуализация через многомерное представление:
Используйте методы многомерной визуализации, такие как t-SNE или PCA, для снижения размерности многомерных характеристик временных рядов. После этого можно визуализировать схожие события в более понятном виде. -
Масштабирование по времени:
Если ваши события имеют общие точки начала или эквивалентные риски, попробуйте нормализовать их по времени. Это может быть сложнее с точки зрения интерпретации, но позволит предоставить более чистые и сравнимые визуализации.
Вывод:
Ваша задача по визуализации не синхронизированных временных рядов сложна, но осуществима с использованием сочетания вышеперечисленных методов. Реализация динамического временного выравнивания в сочетании с локальными статистическими анализами и возможностью кластеризации событий может помочь вам получить более четкое представление о данных и их подобных структурах. Кроме того, стоит проводить последовательные эксперименты с различными алгоритмами и визуализациями, чтобы выбрать наиболее эффективный подход для вашей конкретной задачи.