Вопрос или проблема
Я выполняю много работы, которая требует операций, выполняемых по строкам, используя данные в столбцах этой строки в других столбцах строки.
Недавно мне нужно было провести обработку набора данных на 1,2 миллиона строк (27 столбцов, 300 Мб), что потребовало модификации около 300 000 строк. Некоторые транзакции были разбиты на несколько записей, и я хотел их аггрегировать. Это подразумевало их объединение с помощью ленивого удаления, суммирование 5 столбцов и вычисление взвешенного среднего для 6-го.
Сначала я попытался использовать Pandas.
Pandas потратил более 12 часов на обработку около 80 000 строк (машина, которую я использую в офисе, ужасна).
Я мог бы понять это, если бы я удалял строки по мере обработки, и ему приходилось бы снова размещать 300 Мб массивов в памяти после каждой строки, но он даже не успел удалить строки, так как это должно было произойти в конце.
Я в общем видел, что мнение о Pandas, похоже, таково: “Не итерируйте по строкам датафрейма.”
Я не спрашиваю, как заставить это работать в Pandas, цель вышеуказанного была предоставить контекст, почему я считаю, что Pandas не является жизнеспособным вариантом для того, что я пытался сделать.
В конце концов, я выбрал простую реализацию списка, и она выполнилась за 5-10 секунд.
В этом случае реализация списка сработала. Поскольку у меня были индексы строк в датафрейме, я избежал ловушки времени поиска O(N).
Таким образом, хотя Pandas высоко оптимизирован для операций по столбцам, видно, что он явно не предназначен для массовой детальной модификации строк (хороший пример — посмотрите на большое жирное предупреждение в документации iterrows).
Итак, вот вопрос:
Предположим, у вас есть неравномерная строка данных с разными размерами столбцов и типами данных, какая структура данных/библиотека наиболее эффективна для выполнения большого количества модификаций по строкам?
Что, если все столбцы были бы числами с плавающей запятой?
Это зависит от того, можете ли вы разделить или предварительно знать, какие строки затрагиваются при выполнении операции.
В данном случае, если они действительно включают коллекции, тогда Dask Bags. Для более неструктурированных данных (как вы предположили), но которые может быть удобно запускать параллельно, тогда Dask Delayed сработал для меня.
Ответ или решение
Наиболее Эффективный Инструмент для Поэлементной Обработки Данных в Python
В условиях, когда работа заключается в манипуляции данными по строкам, особенно при наличии больших объемов данных, выбор правильного инструмента становится критически важным для достижения высокой производительности. В вашем случае, когда вы имели дело с набором данных в 1,2 миллиона строк и 27 столбцов и столкнулись с проблемами при использовании библиотеки Pandas, необходимо рассмотреть альтернативные подходы, которые обеспечивают более эффективную обработку строковых операций.
Проблема с Pandas
Как вы уже заметили, библиотека Pandas оптимизирована в первую очередь для операций над столбцами. При выполнении поэлементных операций могут возникнуть узкие места в производительности, особенно когда необходимо обрабатывать большое количество строк. Представленная вами ситуация, когда Pandas потратил более 12 часов на 80,000 строк, свидетельствует о том, что он не подходит для массовой обработки строк без значительной оптимизации вашего подхода.
Рекомендации по Альтернативным Инструментам
1. Dask
Если операции следует выполнять на неструктурированных данных или данных с различными типами, библиотека Dask становится отличным выбором.
-
Dask Bags: Это удобный инструмент для неструктурированных данных. Он позволяет обрабатывать данные в виде "мешков", что может быть полезно для работы с гибкими структурами данных. Dask Bags позволяют вам обрабатывать данные в рамках параллельных вычислений, что значительно ускоряет операции.
-
Dask Delayed: Если операции можно разбить на независимые шаги, воспользуйтесь Dask Delayed. Это позволяет создавать графы вычислений, которые могут быть оптимизированы и выполнены в параллельном режиме, эффективно используя ресурсы вашего оборудования. Это особенно полезно, если ваши операции могут выполняться независимо друг от друга.
2. NumPy
Если работа идет с числовыми данными (например, все столбцы являются числами с плавающей запятой), использование NumPy может быть еще одним весьма эффективным решением.
NumPy оптимизирован для выполнения операций над массивами и может работать значительно быстрее, чем Pandas, особенно при прямой манипуляции массивами. Вы можете использовать векторизацию для выполнения операций, что позволяет снизить накладные расходы, связанные с циклическим обходом данных.
Оптимизация Процессов
Среди методов, которые стоит рассмотреть для ускорения обработки данных:
-
Параллелизация: Используйте модули, такие как
multiprocessingили Dask, для параллельной обработки данных, что может существенно уменьшить время выполнения. -
Целостность данных: Перед тем как выполнять операции, убедитесь, что данные подготовлены и структуры согласованы. Удаление строк или объединение данных на этапе обработки может занимать много времени, если не оптимизировать их в рамках процесса.
-
Векторизация: Для числовых данных используйте векторизацию, чтобы сократить использование циклов и ускорить вычисления.
Заключение
На основании изложенных выше данных и требований, Dask и NumPy представляют собой наилучшие варианты для эффективной поэлементной обработки ваших данных. В случае, если данные имеют смешанные типы и неструктурированную форму, выбирайте Dask, а если же все данные числовые, ориентируйтесь на NumPy. Эти инструменты обеспечат вам значительную экономию времени и ресурсов по сравнению с использованием Pandas для данной задачи.
Отличная статья, спасибо за подробный разбор проблемы! Хочу поделиться своим опытом решения подобных задач. Когда я столкнулся с необходимостью масштабной модификации строк в больших наборах данных, я обратился к библиотеке PySpark. Она создана именно для эффективной обработки больших объемов данных и отлично справляется с операциями по строкам.
PySpark позволяет распределять задачи обработки данных на несколько узлов, что существенно ускоряет вычисления. Кроме того, его DataFrame API похож на Pandas, но оптимизирован для распределенных вычислений. Это значит, что вы можете использовать привычный синтаксис, но при этом получить значительный прирост производительности.
Если все ваши столбцы — числа с плавающей запятой, PySpark особенно эффективен, так как он хорошо работает с числовыми данными и поддерживает векторизированные операции. Также вы можете использовать функции группировки и агрегации для объединения записей, что может заменить вашу текущую логику объединения и вычисления взвешенных средних.
Конечно, переход на PySpark может потребовать некоторого времени на настройку среды и изучение новых инструментов, но в долгосрочной перспективе это может существенно сэкономить время на обработку данных и увеличить производительность ваших задач.
Надеюсь, мой совет будет полезен, и вы сможете найти оптимальное решение для своей задачи!