Сравнение кластеризаций из разных наборов данных

Вопрос или проблема

У меня есть 2 набора данных с по сути одинаковыми переменными, хотя один из них представляет данные за один год, а другой – за другой год. Я применил алгоритм KModes к обоим наборам данных и теперь имею некоторые кластеризации. Теперь я хочу посмотреть, насколько похожа кластеризация из первого набора данных на кластеризацию из второго.

Я пытался использовать ARI (корректированный индекс Рэнда) и вставлял фиктивные метки в меньший набор данных или случайным образом выбирал образцы из большего набора данных, но продолжал получать значения ARI, которые были неприлично низкими, хотя некоторые кластеризации выглядят действительно очень похожими. Мне интересно, существует ли какая-либо другая методология для выполнения сравнения, которое я пытаюсь сделать, или же моя работа с ARI была как-то неправильной.

Если ARI имеет законный случай использования для моих целей, как мне сравнить 2 кластеризации разного размера с использованием ARI? И если нет, какие у меня есть возможности для выполнения сравнения?

Я думаю, что более эвристический подход, описанный ниже, может быть полезным.

Для обоих наборов данных найдите среднее значение каждого кластера. Затем, используя кластеризацию за первый год в качестве отправной точки, сопоставьте каждый кластер с ближайшим кластером второго года (например, наименьшее евклидово расстояние между двумя средними кластерами).

Для каждой полученной пары вы можете начать с предположения, что они являются “соответствующими кластерами” между двумя наборами данных и затем приступить к оценке их сходства и различий.

Вы также можете обнаружить, что они не имеют значимого сходства. Если ближайшие совпадения не имеют значимого сходства, то две кластеризации могли бы выявить очень разные структуры, что делает прямое сравнение менее значимым.

Ответ или решение

Сравнение кластеризаций из разных наборов данных может быть сложной задачей, особенно если наборы данных имеют различные размеры или содержат временные срезы, такие как данные за разные годы. В таких случаях важно тщательно подобрать метод сравнения, чтобы получить достоверные результаты.

Анализ ситуации

У вас есть два набора данных за разные годы с одинаковыми переменными. Вы использовали метод KModes для кластеризации и хотите сравнить полученные кластеры. Ваш текущий подход с использованием Adjusted Rand Index (ARI) не дал ожидаемого результата, и вы ищете более подходящий метод.

Проверка корректности использования ARI

ARI является популярным методом для оценки схожести между двумя кластеризациями, поскольку он корректируется на вероятность случайного соответствия. Однако, есть несколько факторов, которые могут повлиять на его эффективность:

1. Размер кластеров: Если у вас сильно различающиеся размеры наборов данных, это может исказить оценку ARI.
2. Различия распределений данных: Если данные из одного года значительно отличаются от данных другого года по своей распределённости, это тоже может повлиять на результаты ARI.
3. Количественные дисбалансы: Если количество кластеров сильно различается, это также может создать проблемы при использовании ARI.

Как правильно использовать ARI

Для корректного использования ARI при разнородных наборах данных, рекомендуется предварительная обработка:

• Подбор подвыборок: Убедитесь, что выборки подбираются сбалансированным образом, чтобы избежать искажения результатов.
• Нормализация данных: Возможно, следует нормализовать данные, чтобы уменьшить влияние различий в распределениях.
• Проверка параметров KModes: Убедитесь, что параметры, используемые в KModes, одинаковы для обоих наборов данных.

Альтернативные методы сравнения

Если использование ARI не даёт удовлетворительных результатов, можно рассмотреть другие подходы.

Метод средних значений кластеров

Предложенный вами подход с использованием средних значений кластеров может быть эффективным:

1. Вычисление центроидов: Для каждой кластеризации вычислите центроид (среднее значение) каждого кластера.
2. Сопоставление кластеров: Используйте евклидово расстояние для нахождения наиболее близких кластеров из разных лет.
3. Анализ пар кластеров: Исследуйте пары на предмет схожести. Если кластеры не оказываются похожими, это может указывать на изменение структуры данных между годами.

Визуальные методы

• Тепловые карты и матрицы корреляции: Постройте визуальные представления для быстрого выявления схожести и различий между кластерами.
• Темы и сюжетные линии: Если данные позволяют, создайте сюжетные линии для лучшего понимания изменений между кластерами.

Заключение

Сравнение кластеризаций из разных наборов данных требует тщательного анализа и выбора подходящих методов. Если ARI не подходит, рассмотрите другие методологии, такие как анализ на основе средних значений или визуализация. Учитывая контекст и особенности ваших данных, эти подходы помогут объективно оценить схожесть кластеризаций, выявляя как явные, так и более скрытые различия.