Корреляция Пирсона с перекрывающимися данными

Вопрос или проблема

У меня есть финансовый временной ряд, и я хочу вычислить корреляцию между прошлыми и будущими доходностями. Сначала я выбираю интервалы, скажем, l и h. Затем я вычисляю прошлые доходности, что равно текущему значению, деленному на значение, которое было l пунктов назад, и будущие доходности, которые равны значению, которое будет через h пунктов, деленному на текущее значение. И затем я вычисляю корреляцию Пирсона.

Проблема в том, что эти доходности очевидно пересекаются. Я нашел некоторые решения для линейной регрессии, но не совсем для корреляции. Одно из предложений заключается в том, чтобы рассчитать n = min(l, h) и взять каждую n-ую точку. Это устраняет часть перекрытия, но не все. Другая идея заключается в том, чтобы рассчитать n = max(l, h), что устраняет перекрытие, но оставляет очень мало точек для длительных периодов. Некоторые вариации, например, выбор каждой h-ой точки. Каждый метод дает разные результаты.

Есть ли способ решить эту проблему?

Вы жалуетесь, что ваш временной ряд наблюдается только в дискретных точках, возможно, еженедельно. Однако, в том, как вы сформулировали проблему, неявно сделано очень сильное предположение, что цены берутся из гладко дифференцируемого многообразия.

Поэтому заполните промежуточные точки, превратив наблюдаемый временной ряд в непрерывную функцию.

выберите интервалы просмотра и удержания

Предпочтительно: «выберите интервалы просмотра и удержания».

То есть, вместо того чтобы смотреть назад на 3 строки в таблице, вы можете посмотреть назад на 21 × 86_400 == 1_814_400 секунд. И подставьте это в ваш линейный интерполяционный метод заполнения. Или используйте сплайны. Или скользящее среднее с окном, или экспоненциальное сглаживание, что угодно.

Ответ или решение

Для решения проблемы корреляции с перекрывающимися данными в финансовом временном ряду, важно учитывать несколько аспектов, которые могут повлиять на результаты расчета.

1. Понимание задачи:
Вы планируете рассчитать корреляцию между прошлой и будущей доходностью, используя заданные интервалы времени для «look back» (l) и «holding» (h). Однако, как вы заметили, данные перекрываются, что может создать искажения в расчетах.

2. Проблема с перекрытием:
Наиболее острая проблема заключается в том, что значения, используемые для расчета корреляции, могут находиться в зависимости друг от друга, что делает результаты менее надежными. Существует несколько методов для уменьшения этих перекрытий, однако каждый из них имеет свои недостатки.

3. Использование наименьшего значения (min(l, h)) или наибольшего значения (max(l, h)):
Как вы верно заметили, если использовать n = min(l, h), то некоторые точки будут удалены, но перекрытие не будет полностью устранено. В то же время, использование n = max(l, h) может оставить очень небольшое количество значений для анализа.

4. Возможные решения:

Интерполяция: Один из методов, который можно рассмотреть, — это интерполяция недостаточно плотных данных. Вы можете преобразовать ваши наблюдения в непрерывную функцию, используя линейную интерполяцию, сплайны или скользящую среднюю. Это позволит уменьшить группу данных до более управляемого, непрерывного состояния, что может улучшить качество корреляционного анализа.
Снижение частоты выборки: Рассмотрите возможность уменьшения частоты, с которой вы осуществляете выбор. Например, выбирайте каждый n-й элемент, где n – это наибольшее из l или h, чтобы получать более воспроизводимые результаты по меньшему числу наблюдений, хотя это может увеличить вероятность высоких стандартных ошибок.
Модификация временных интервалов: Попробуйте изменить интервалы для анализа. Например, можно рассмотреть различные временные горизонты для расчетов прошлого и будущего, чтобы установить, какие из них могут давать более устойчивые и надежные результаты.
Использование регрессионного анализа: Хотя вы указали, что искали решение для корреляции, рассмотрение линейной регрессии может также дать интересные результаты. Установив регрессионные модели с использованием лагов, можно будет избежать некоторых проблем перекрытия и улучшить точность предсказаний.

5. Итог:
Применение вышеописанных методов может помочь вам более эффективно справляться с проблемой перекрытия в ваших временных рядах и обеспечить более надежные результаты корреляционного анализа. Необходимо помнить, что каждое решение имеет свои плюсы и минусы, и лучше всего протестировать несколько подходов для определения наилучшего метода для ваших конкретных данных и целей.