Вопрос или проблема
У меня есть несколько файлов CSV, каждый из которых содержит не менее 200 МБ данных по 12 столбцам. Каждый CSV файл, возможно, может принадлежать к 4 категориям или меткам. Я пытаюсь выяснить, в какие кластеры попадает каждый из этих файлов. У меня пока нет кода. Но вот мой псевдокод.
для файла в моем списке:
прочитать данные из файла
найти кластер, к которому принадлежит этот файл, с помощью k-средних или других алгоритмов
пометить файл номером кластера
конец-цикла
Результат кластеризации будет выглядеть примерно так:
- файл-1 = кластер-1
- файл-2 = кластер-2
- файл-3 = кластер-1
- .
- .
- .
- файл-n = кластер-4
и так далее
В идеале я бы хотел потоково обрабатывать данные, например, по x,000 или более строк за раз. Библиотека scikit обычно не обрабатывает потоковые данные. Есть ли другие библиотеки, которые могут принимать потоковые данные и достигнуть того, что я ищу?
Большое спасибо за ваши предложения.
Предложенный в псевдокоде подход ошибочен для достижения вашей цели, поскольку вы будете запускать k-средние для каждого отдельного файла. Это означает, что:
- Экземпляры в каждом файле сгруппированы в K групп. Обратите внимание, что это происходит только на основе экземпляров в текущем файле, поэтому даже если все экземпляры в этом файле очень похожи, k-средние разделят их на K кластеров.
- Кластеры 1,2,..,K, полученные в результате, независимы от файла к файлу. Например, кластер 1 в файле 1 может соответствовать кластеру 3 и 4 в файле 2 и не соответствовать ни одному кластеру в файле 3 и т. д.
Вы не получите тот тип вывода, который ожидаете, таким образом.
Важно понять, что делает алгоритм кластеризации: он разделяет экземпляры набора сравнивая их между собой. Поскольку невозможно для алгоритма кластеризации угадать, какие экземпляры будут предоставлены позже и как они будут сравниваться с текущими, любая форма потоковых данных несовместима с кластеризацией.
Тем не менее, возможно получить модель кластеризации (центроиды с помощью k-средних) на основе некоторого подмножества данных, а затем применить эту модель к остальным данным. Это означает, что фактическая кластеризация (когда центроиды обнаруживаются с помощью k-средних) происходит только один раз, затем новые экземпляры просто присваиваются ближайшему центроиду.
Примечание: я предполагаю, что каждый файл содержит несколько экземпляров. В этом сценарии также странно, что все экземпляры в одном файле принадлежат к одному кластеру. В этом случае, я полагаю, вы могли бы использовать случайную выборку из каждого файла, чтобы получить тот же результат.
Одно из решений заключается в том, чтобы уменьшить размер входных данных с помощью анализа главных компонент (PCA) или аналогичной техники для сокращения его размерности.
Вы будете перебирать свои входные файлы по одному, проводить PCA (например) и сохранять полученные результаты. Затем вы можете выполнить k-средние на вашем новом уменьшенном наборе данных.
Это обычная техника в NLP, учитывая большие и разреженные данные на входе в этой области.
Ответ или решение
Ваш вопрос касается кластеризации нескольких файлов CSV, объем которых превышает объем оперативной памяти (RAM). Давайте рассмотрим, как можно решить эту задачу, не погружаясь в детали, которые бы ограничили вас.
Основные шаги:
-
Чтение данных и предварительная обработка:
Вы можете использовать библиотекуpandasдля работы с CSV файлами с помощью методаread_csv. Однако, необходимо учитывать объем данных. Для чтения больших файлов вам нужно использовать параметрchunksize, который позволяет считывать данные по частям.import pandas as pd chunks = [] for file in my_list: for chunk in pd.read_csv(file, chunksize=10000): # считываем по 10,000 строк chunks.append(chunk) data = pd.concat(chunks, ignore_index=True) -
Снижение размерности:
Чтобы снизить объем данных и сделать кластеризацию более управляемой, можно использовать метод главных компонент (PCA) для уменьшения размерности признаков. Это особенно эффективно для больших наборов данных, где нужно понимать основные характеристики без избыточности.from sklearn.decomposition import PCA pca = PCA(n_components=5) # выбираем, например, 5 главных компонент reduced_data = pca.fit_transform(data) -
Кластеризация:
Используйте алгоритм кластеризации, например, K-средних. Обратите внимание, что вам нужно будет сначала выполнить настройку модели на вашем уменьшенном наборе данных, а затем использовать найденные центроиды для назначения кластеров новым данным.from sklearn.cluster import KMeans kmeans = KMeans(n_clusters=4) # число кластеров, предположительно 4 kmeans.fit(reduced_data) # Предполагаем, что новый набор данных также был сокращен с помощью PCA cluster_labels = kmeans.predict(reduced_data) -
Запись результатов:
После кластеризации вам нужно будет пометить соответствие файлов и их кластеров. Например, вы можете создать DataFrame, где будут указаны имена файлов и их кластеры.results = pd.DataFrame({ 'filename': my_list, # имена файлов 'cluster': cluster_labels # соответствующие кластеры }) results.to_csv('clusters_results.csv', index=False)
Дополнительные советы:
- Параллельная обработка: Если вы работаете с большим количеством файлов, рассмотрите возможность параллельного чтения и обработки файлов, чтобы ускорить выполнение.
- Эффективные библиотеки: Используйте библиотеку Dask, которая позволяет обрабатывать данные, не помещая их в оперативную память целиком, обеспечивая более высокую производительность.
- Проверка результатов кластеризации: После выполнения кластеризации важно проверить качество полученных кластеров, используя метрики (например, силуэт).
Таким образом, если следовать вышеописанным методам, можно эффективно выполнить кластеризацию большого числа файлов, не превышая лимитов по памяти.