Вопрос или проблема
Я ищу инкрементный алгоритм кластеризации. Под инкрементным я понимаю алгоритм, который строит кластеры, начиная с начального набора данных и который способен постепенно добавлять новые элементы/наблюдения, добавляя их к существующим или новым кластерам.
Максимальное количество кластеров заранее неизвестно и ожидается, что оно будет расти со временем, что означает, что после запуска алгоритма на начальном наборе данных я ожидаю получить наблюдения, относящиеся к ранее невиданным кластерам.
Я довольно нов в такого рода задачах, и все алгоритмы кластеризации в библиотеке Scipy кластеризации предоставляют только методы для односторонней кластеризации.
Единственный инкрементный алгоритм кластеризации, предлагаемый библиотекой Scikit-learn, – это MiniBatchKMeans, который требует фиксированного числа кластеров и не подходит для моего случая.
Существуют ли инкрементные алгоритмы кластеризации, которые могут справляться с неизвестным количеством кластеров? Они уже реализованы где-то?
Большое спасибо!
Одним из вариантов является инкрементная иерархическая кластеризация.
Иерархическая кластеризация использует агломеративные или делительные подходы для разделения данных на стратифицированные группы. В иерархической кластеризации количество кластеров может быть выбрано в процессе построения кластеров. Инкрементная иерархическая кластеризация позволяет добавлять точки данных на протяжении всего процесса. В статье “Инкрементная кластеризация для иерархической кластеризации“, написанной Нарида, Хочин и Номия, рассматриваются детали.
IncrementalDBSCAN (Ester и др. 1998) – это инкрементная версия классического алгоритма кластеризации DBSCAN, который разработан для обновления, т.е. можно добавлять новые точки к ранее рассчитанной кластеризации (или удалять ненужные точки, если нужно). Он не требует ожидаемого числа кластеров в качестве входных данных.
Существует реализация с открытым исходным кодом, которую можно установить и использовать как пакет Python. (Для полной откровенности, я реализовал этот пакет.)
Ответ или решение
Инкрементальные алгоритмы кластеризации: Обзор и рекомендации
В свете растущих объемов данных и необходимости их эффективного анализа актуальным становится вопрос инкрементальной кластеризации — подхода, позволяющего динамически строить кластеры на основе первоначального набора данных и последующего добавления новых наблюдений. Инкрементальные алгоритмы кластеризации становятся незаменимыми в ситуациях, когда количество кластеров заранее неизвестно и может увеличиваться по мере поступления новых данных.
Что такое инкрементальная кластеризация?
Инкрементальная кластеризация — это способ организации данных в кластеры, который позволяет добавлять новые элементы в существующие или формировать новые кластеры на основе уже созданной структуры. В отличие от традиционных методов, работающих с полным набором данных за один проход, инкрементальные методы обеспечивают большую гибкость, позволяя алгоритму адаптироваться к изменяющимся условиям.
Доступные инкрементальные алгоритмы
1. Инкрементальная иерархическая кластеризация
Инкрементальная иерархическая кластеризация опирается на методы агломеративной или делительной кластеризации, позволяя строить иерархическую структуру кластеров. Она подходит для ситуаций, когда количество кластеров не может быть заранее определено. В процессе создания кластеров вы можете динамически изменять их количество, добавляя новые данные.
Для подробного изучения можно обратиться к статье Инкрементальная кластеризация для иерархической кластеризации, где детально описаны соответствующие алгоритмы и методы.
2. Инкрементальный DBSCAN
Еще одним выдающимся решением является инкрементальный алгоритм DBSCAN. Разработанный Эстером и его коллегами в 1998 году, он позволяет добавлять новые точки к уже вычисленным кластеризациям, не требуя указания ожидаемого количества кластеров. Это делает его особенно полезным для задач, где данные поступают в потоке или имеют высокий уровень шума.
Существующая библиотека Python предоставляет реализацию этого алгоритма, что позволяет легко интегрировать его в ваши проекты. Лично разработанная мной, она предоставляет простой интерфейс и эффективный функционал для работы с инкрементальной кластеризацией.
Заключение
Выбор инкрементального алгоритма кластеризации зависит от множества факторов, таких как характер ваших данных, распределение и требует ли ваша задача четкого определения числа кластеров. Инкрементальная иерархическая кластеризация и инкрементальный DBSCAN являются двумя мощными инструментами, которые могут помочь вам эффективно работать с динамическими наборами данных. Для разработки продвинутых решений в области анализа данных их применение станет отличным выбором, обеспечив максимальную гибкость и адаптивность в процессе обработки информации.
Применяя указанные методы и библиотеки, вы сможете не только справляться с текущими задачами, но и гибко реагировать на изменения, стремясь к получению качественных и обоснованных аналитических результатов.