Python – Как удалить дубликаты, сохранив значения строк в другом столбце

Вопрос или проблема

import pandas as pd

df = pd.DataFrame({
    "ID": [1, 1, 1, 2, 2, 3, 3, 3, 4, 4],
    "name": ["A", "B", "C", "D", "E", "F", "G", "H", "I", "J"]
})

df.head()

df = (
    df
    .groupby("ID")
    .agg({"name": lambda x: list(x)})
    .reset_index()
)
pd.concat([df["ID"], pd.DataFrame(df["name"].values.tolist()).add_prefix("name_")], axis=1)

Ответ или решение

Вопрос, который был задан о том, как удалить дубликаты, сохраняя значения в других столбцах и представлен на примере данных в DataFrame с двумя столбцами – "ID" и "name", является распространенной задачей при обработке и преобразовании данных в Pandas, библиотеке для работы с данными на языке Python.

Теория

В Pandas работа с дубликатами часто требует умения группировать данные, применять агрегатные функции и форматировать конечные результаты. Когда мы сталкиваемся с задачей, где необходимо удалить дубликаты на основании одного столбца, при этом сохранив все соответствующие значения из другого столбца в отдельных колонках, требуется понимание нескольких функций Pandas: groupby, agg, tolist и concat.

• groupby — позволяет объединять данные по определенному набору колонок, что полезно для агрегации и использования разных методов, чтобы консолидировать данные в каждой группе.

• agg — функция, позволяющая применять разные агрегатные функции к каждой из групп, формируемых groupby.

• tolist — преобразует серию Pandas в список Python, что упрощает работу при последующих преобразованиях.

• concat — позволяет комбинировать DataFrame или серии вдоль заданной оси. В нашем случае это используется для добавления новых колонок с "раздувшимися" значениями.

Пример

Рассмотрим предлагаемый код в описании к вопросу:

import pandas as pd

df = pd.DataFrame({
    "ID": [1, 1, 1, 2, 2, 3, 3, 3, 4, 4],
    "name": ["A", "B", "C", "D", "E", "F", "G", "H", "I", "J"]
})

df = (
    df
    .groupby("ID")
    .agg({"name": lambda x: list(x)})
    .reset_index()
)
pd.concat([df["ID"], pd.DataFrame(df["name"].values.tolist()).add_prefix("name_")], axis=1)

В этом примере:

1. Группировка по ID: Мы группируем строки DataFrame по колонке "ID", что позволяет собрать все имена, которые соответствуют каждому уникальному ID.

2. Агрегация с помощью списка: Для каждой группы имен используется agg с лямбда-функцией, которая преобразует серию имен в список. Таким образом для каждого уникального ID создается список имен.

3. Конкатенация данных: Конкатенация осуществляется через превращение каждого списка имен в отдельные столбцы с помощью DataFrame(df["name"].values.tolist()).add_prefix("name_"). Это создает новую структуру данных, где имена становятся новыми отдельными колонками для каждого ID.

4. Формирование конечного DataFrame: С помощью concat конечные данные объединяются в новый DataFrame, где для каждого уникального ID соответствующие имена разбиваются на отдельные колонки.

Применение

Эта методология имеет широкий спектр применений в реальной обработке данных. Например, она может быть полезной в следующих случаях:

• Анализ клиентских данных: Если у вас есть таблица с клиентами и их обращениями в службу поддержки, вы можете трансформировать данные так, чтобы каждое уникальное обращение было разбито на отдельные колонки.

• Обработка данных из системы CRM: Когда одна CRM-запись содержит несколько точек контакта (e-mail, телефон и прочее), трансформация данных в подобную структуру может облегчить визуализацию и анализ данных.

• Компиляция отчётов по продажам: Если у вас есть много информации о продажах, где одна запись может иметь несколько видов товаров, подобная практика может помочь в быстром формате подготовки отчета.

Подобные задачи подчеркивают важность гибкости и мощности Pandas для трансформации и предварительной обработки данных. Этот подход позволяет получать аналитику и отчеты из плоских файлов, преобразуя их для получения необходимой информации максимально адаптированно к бизнесу. Важно помнить, что правильное понимание и применение указанных приемов позволяет повысить эффективность бизнес-процессов и аналитики.