Сравнение 2 файлов данных и создание нового файла с недостающими данными с использованием Python [закрыто]

Вопрос или проблема

import pandas as pd
import requests

pd.set_option("display.max_rows", None)

# Загрузка CSV файла
url = "URL ЗДЕСЬ"
response = requests.get(url)

# Проверка, успешен ли запрос (код состояния 200)
if response.status_code == 200:
    # Сохранение содержимого ответа в локальный CSV файл
    with open("downloaded_data.csv", "wb") as f:
        f.write(response.content)
    print("CSV файл успешно загружен")
else:
    print("Не удалось загрузить csv файл. Код состояния: ", response.status_code)

# Чтение CSV файла в Pandas DataFrame
master_file_compare = pd.read_csv("downloaded_data.csv", usecols=[29], names=['SKU'])
account_data = pd.read_csv("account-data.csv", usecols=[5], names=['SKU'])

# Объединение обоих датафреймов с использованием левого объединения
comparison_result = pd.merge(master_file_compare, account_data, on='SKU', how='left', indicator=True)

# Фильтрация только строк, доступных слева (master_file_compare)
comparison_result = comparison_result.loc[comparison_result['_merge'] == 'left_only']

comparison_result.to_csv('comparison-file.csv', encoding='utf8')

# Сравнение файла сравнения с мастером и генерация файла данных
with open('downloaded_data.csv', 'r', encoding='utf8') as in_file, open('new-products.csv', 'w', encoding='utf8') as out_file:
    for line in in_file:
        if line.split(',')[0].strip() not in comparison_result:
            out_file.write(line)

# print(account_data.head)
print(comparison_result)

Ответ или решение

Теория

Python предоставляет множество мощных библиотек для работы с данными, что делает его идеальным выбором для задач, связанных с анализом и обработкой информации. В частности, для работы с электронными таблицами и CSV-файлами часто используют библиотеку Pandas, которая позволяет эффективно обрабатывать и анализировать крупные объемы данных, включая такие операции, как фильтрация, сортировка и объединение таблиц.

Ваша задача заключается в сравнении двух CSV-файлов ("downloaded_data.csv" и "current-data.csv") для выявления новых продуктов по уникальному идентификатору SKU и последующем создании нового файла "new-products.csv", содержащего только новые позиции. Для успешного выполнения этой задачи необходимо следовать четкой логике: идентифицировать новые строки на основе отсутствия их в старом файле, а затем сохранить соответствующие свечи в новом файле.

Пример

Давайте рассмотрим пример пошагово, чтобы понять, как можно реализовать задачу используя Python и Pandas:

1. Загрузка и парсинг файлов:
   Используйте библиотеку requests для загрузки файла с заданного URL и сохраните его на локальный диск. После этого с помощью Pandas прочтите оба файла в DataFrame для последующего анализа.

2. Сравнение файлов:
   Используйте функцию merge для объединения таблиц по колонке SKU. Опция indicator=True в методе merge позволяет вам узнать, откуда происходит каждая строка: из левого, правого или обоих файлов. Это позволяет легко выделить новые элементы, которые есть в новом файле, но отсутствуют в старом.

3. Фильтрация данных:
   После объединения данных вы можете отфильтровать строки с помощью условия _merge == 'left_only', чтобы изолировать новые SKU.

4. Сохранение результата:
   После того как вы отфильтровали новые элементы, сохраните их в новый CSV файл с полным набором данных, используя to_csv().

Применение

Давайте теперь применим данную теорию на практике, исправив ваш код:

import pandas as pd
import requests

# Загрузка CSV файла
url = "URL_GOES_HERE"
response = requests.get(url)

if response.status_code == 200:
    with open("downloaded_data.csv", "wb") as f:
        f.write(response.content)
    print("CSV file downloaded successfully")
else:
    print("Failed to download csv file. Status code: ", response.status_code)

# Чтение CSV файлов в DataFrame
master_data = pd.read_csv("downloaded_data.csv")
current_data = pd.read_csv("current-data.csv")

# Объединение таблиц по колонке 'SKU'
merged_data = pd.merge(master_data, current_data, on='SKU', how='left', indicator=True)

# Фильтрация новых товаров
new_products = merged_data[merged_data['_merge'] == 'left_only'].drop(columns=['_merge'])

# Сохранение списка новых SKU
new_skus = new_products['SKU'].tolist()
pd.DataFrame(new_skus, columns=['SKU']).to_csv('comparison-file.csv', index=False)

# Сохранение новых продуктов
new_products.to_csv('new-products.csv', index=False)

print("Файл 'new-products.csv' с новыми продуктами успешно создан.")

Заключение

Ключевой аспект этой задачи — правильное использование функций объединения и фильтрации в Pandas. В приведенном выше решении мы пересекли два набора данных, использовали индикаторы для определения новых строк и сохранили только те продукты, которые являются новыми. Этот метод отличается эффективностью и простотой, что особенно важно в сценариях работы с большими данными.

Ваш проект теперь способен корректно обрабатывать информацию и вносить изменения в файлы CSV, помогая вам автоматизировать мониторинг новых продуктов. Важно помнить о регулярных тестах и проверки корректности данных, чтобы удостовериться в надежности такого решения в реальных условиях.