Как оценить степень связанности двух признаков в наборе данных по их распределению?

Вопрос или проблема

def percentile(feature1, feature2, num_percentiles):
            percentiles1 = np.percentile(feature1, np.linspace(0, 100, num_percentiles))
            percentiles2 = np.percentile(feature2, np.linspace(0, 100, num_percentiles))

            difference = percentiles1 - percentiles2
            ranking = np.mean(np.abs(difference))

            return ranking

Ответ или решение

Вопрос о сравнении распределений признаков в наборе данных для оценки их сходства является весьма актуальным при анализе данных. Важность анализа распределения данных нельзя недооценивать, поскольку это позволяет лучше понять структуру данных, выявить аномалии и принять обоснованные решения относительно дальнейшей обработки данных. В данной статье рассмотрим различные методы, включая предложенные автором идеи, и обсудим их преимущества и недостатки.

Теория

При сравнении распределений различных признаков в наборе данных, основная цель заключается в оценке степени схожести их распределений. Это может помочь в выявлении корреляций и в понимании того, насколько данные могут быть взаимозависимы. Одним из простых способов оценки схожести распределений является анализ и сравнение их процентилей. Однако этот метод может упускать из виду некоторые важные аспекты распределений, такие как наличие длинных хвостов или мульти-модальности.

Существует несколько более сложных статистических методов, которые могут быть использованы для оценки схожести распределений:

1. Тест Колмогорова-Смирнова (KS-тест):
   Этот тест используется для проверки гипотезы о схожести двух распределений. Он измеряет максимальную разницу между их кумулятивными функциями распределения (CDF). KS-тест особенно полезен при сравнении непрерывных распределений и позволяет выявить даже незначительные различия.

2. Дивергенция Дженсена-Шеннона (JSD):
   Эта мера схожести основана на симметричной вариации дивергенции Кульбака-Лейблера. JSD отличается тем, что она заведомо симметрична и всегда имеет конечное значение, в то время как дивергенция Кульбака-Лейблера может быть асимметричной и неограниченной.

3. Расстояние Земли (EMD), или Расстояние Васерштейна:
   EMD оценивает минимальное количество «работы», необходимой для преобразования одного распределения в другое. Это позволяет учесть пространственные отношения между точками данных и может захватить как форму, так и положение различий распределений.

4. Расстояние Бхаттачарья:
   Это статистическая мера, учитывающая как средние значения, так и дисперсии распределений, что позволяет количественно выражать их степень перекрытия.

Пример

Рассмотрим на примере, как можно применить некоторые из этих методов для оценки схожести распределений. Допустим, у нас есть два набора данных feature1 и feature2, и мы хотим сравнить их распределения.

1. Использование KS-теста:

   from scipy.stats import ks_2samp
   
   stat, p_value = ks_2samp(feature1, feature2)

   Здесь stat будет являться значением статистики теста, а p_value — значением вероятности. Низкое значение p_value будет указывать на значительные различия в распределениях.

2. Вычисление JSD:

   import numpy as np
   from scipy.spatial.distance import jensenshannon
   
   # Пример дискретизации данных
   histogram1, _ = np.histogram(feature1, bins=100, range=(min(feature1.min(), feature2.min()), max(feature1.max(), feature2.max())), density=True)
   histogram2, _ = np.histogram(feature2, bins=100, range=(min(feature1.min(), feature2.min()), max(feature1.max(), feature2.max())), density=True)
   
   jsd_value = jensenshannon(histogram1, histogram2)

3. Расчет EMD:

   from scipy.stats import wasserstein_distance
   
   emd_value = wasserstein_distance(feature1, feature2)

Применение

Выбор подходящего метода оценки схожести распределений данных зависит от конкретной задачи и характеристик ваших данных. Если ваши данные непостоянные, с аномалиями и выбросами, для анализа может быть полезно использовать более сложные методы, которые более чувствительны к различным аспектам распределений, такие как EMD или JSD.

Если ваша задача заключается в быстрой оценке без анализа визуализации, предложенный алгоритм на основе процентильного анализа может стать полезным начальным шагом. Однако для тщательного анализа все же рекомендуется применять статистические тесты, такие как тест Колмогорова-Смирнова или вычисление более сложных метрик, таких как расстояние Бхаттачарья или дивергенция Дженсена-Шеннона.

Заключение

В заключение, выбор подходящего метода для оценки схожести распределений признаков в наборе данных должен базироваться на понимании характеристик данных и целей анализа. Комбинируя несколько методов, вы можете получить более полное представление о своих данных, выявить важные зависимости и сделать обоснованные выводы.