Иерархическая кластеризация: дендрограммы

Что такое дендрограммы? Как мы их интерпретируем? Смотрев на дендрограммы, как мы можем определить количество образуемых кластеров?

Дендрограммы — это деревообразные диаграммы, используемые для представления расположения кластеров, полученных в результате иерархической кластеризации. Они особенно полезны для визуализации данных и понимания структуры кластеров.

Интерпретация дендрограммы подразумевает понимание ее структуры. Каждый лист дендрограммы представляет одну точку данных. Поднимаясь вверх по дереву, листья, которые сливаются вместе, делают это потому, что они принадлежат одному кластеру. Высота слияния (представленная вертикальными линиями) указывает на расстояние между двумя кластерами, при этом более низкие слияния указывают на то, что кластеры расположены ближе друг к другу.

Чтобы определить количество кластеров, смотря на дендрограмму, вы можете использовать простую стратегию, называемую «наибольшее вертикальное расстояние без пересечения какой-либо горизонтальной линии». По сути, вы проводите горизонтальную линию через дендрограмму и подсчитываете количество вертикальных линий, которые она пересекает. Это даст вам количество кластеров. Идея заключается в том, чтобы выбрать разрез так, чтобы расстояние (или разность) между двумя кластерами было максимальным, что означает, что они являются наиболее несходными и, следовательно, должны быть отдельными кластерами.

Тем не менее, решение также зависит от контекста и конкретной задачи, которую вы пытаетесь решить. Иногда знания о предмете также могут помочь в определении количества кластеров.

Дендрограммы — это визуальные представления результатов иерархической кластеризации. Они иллюстрируют иерархические отношения между точками данных, показывая, как они группируются на разных уровнях сходства. Дендрограммы обычно используются в кластерном анализе, чтобы помочь в понимании структуры кластеризации и определении количества кластеров.

Интерпретация дендрограмм включает в себя изучение вертикальных линий (ветвей) и горизонтальных линий (называемых слияниями или f-слияниями), которые соединяют ветви. Высота вертикальных линий представляет собой сходство или несходство между точками данных или кластерами. Чем длиннее линия, тем больше несходство.

Чтобы определить количество кластеров из дендрограммы, вы можете следовать этим шагам:

1. Определите самые длинные вертикальные линии, которые не пересекаются с другими линиями. Эти линии представляют собой наибольшие расстояния или несходства.
2. Проведите горизонтальную линию через самые длинные вертикальные линии и подсчитайте количество раз, когда она пересекается с вертикальными линиями.
3. Количество пересечений соответствует количеству кластеров, которые вы можете образовать. Точка, в которой вы проводите горизонтальную линию, является субъективной и зависит от вашего желаемого уровня детализации или конкретной задачи, которую вы пытаетесь решить. Вы можете выбрать высоту, которая даст вам подходящее количество кластеров.

Другой подход — искать значительные увеличения в длине вертикальных линий. Если есть значительное увеличение длины линии по сравнению с предыдущим уровнем, это может указывать на то, что кластеры формируются в этот момент, что указывает на возможное количество кластеров.

Имейте в виду, что дендрограммы предоставляют визуальное представление, и решение о количестве кластеров все еще может включать некоторый уровень субъективности и знаний о предмете. Важно учитывать конкретный контекст и цели вашего анализа при интерпретации дендрограмм и определении соответствующего количества кластеров.