Переход от скрипта на Python для трансформации данных к BigQuery

Вопрос или проблема

Ответ или решение

Переход от скрипта Python для трансформации данных к BigQuery

В современных условиях быстрого тарификации и обработки данных, переход от традиционного метода работы с файлами Excel и Python к облачным технологиям, таким как Google BigQuery, становится необходимостью для роста и масштабирования бизнеса. Рассмотрим подробно, как эффективно выполнить этот переход, оптимизировав процессы обработки данных.

1. Проблема с данными

Ваша задача заключается в обработке набора данных, который распределён по множеству файлов Excel. Каждый файл содержит информацию о заказах с полями, такими как email, order_ID и order_date. Вам необходимо создать две отдельные таблицы:

• Orders – публичная, предназначенная для анализа, где email заменяется на анонимные user_ID.
• Users – приватная таблица, в которой хранятся контакты пользователей, включая их email.

Ваши текущие операции с данными выполняются с помощью библиотеки Pandas, но есть несколько ограничений, таких как необходимость повторной идентификации пользователей, чтобы избежать усложнения анализа.

2. Переход к BigQuery

Шаг 1: Загрузка данных

Для начала вам нужно собрать все данные из файлов Excel и загрузить их в BigQuery. В BigQuery можно создавать временные таблицы, чтобы сначала протестировать загружаемые данные. Вы можете использовать pandas-gbq для загрузки данных:

import pandas as pd

# Чтение файлов и их объединение
input_directory = 'Data/'
all_data = pd.concat([pd.read_excel(f"{input_directory}/{file}") for file in os.listdir(input_directory)]).drop_duplicates().reset_index(drop=True)

# Загрузка данных в временную таблицу
all_data.to_gbq('temp_dataset.temp_orders', if_exists='replace')

Шаг 2: Генерация уникальных идентификаторов

Для генерации уникальных идентификаторов в BigQuery можно использовать функцию GENERATE_UUID(). Это поможет избежать использования factorize() и проблем с дублированием данных:

CREATE TABLE dataset.orders AS
SELECT 
    GENERATE_UUID() AS user_ID,
    order_ID,
    order_date,
    COUNT(*) OVER (PARTITION BY email) > 1 AS is_returning
FROM temp_dataset.temp_orders
GROUP BY email, order_ID, order_date

Здесь мы создаём уникальный user_ID для каждой строки и определяем, является ли пользователь возвращающимся, используя оконные функции.

Шаг 3: Разделение на публичные и приватные таблицы

После того, как вы сформировали публичную таблицу с анонимизированными данными, следующим шагом будет создание приватной таблицы пользователей:

CREATE TABLE dataset.users AS 
SELECT 
    DISTINCT user_ID,
    email
FROM temp_dataset.temp_orders

Эта таблица будет хранить уникальные адреса электронной почты пользователей.

3. Регулярное обновление данных

С учетом того, что данные поступают непрерывно, вы можете настроить регулярное обновление данных с помощью скриптов на Python, которые будут отслеживать новые поступления и загружать их в Базу Данных:

1. Автоматизация загрузки: Используйте Google Cloud Functions или другие средства планирования, такие как Apache Airflow, для автоматизации процесса загрузки данных.

2. Обработка новых файлов: Создайте логику для обработки только новых файлов. Таким образом, вы избежите загрузки данных, которые уже находятся в BigQuery.

4. Устранение проблем с дублированием

Поскольку ваш процесс будет уникален для каждого нового ввода данных, учитывайте, чтобы новые записи корректно проверялись на наличие дублирующихся:

• Обновление идентификации пользователей: Продумайте механизм, который будет проверять существующие адреса электронной почты в приватной таблице и будет генерировать новый user_ID, если такого адреса не существует.

Заключение

Переход на BigQuery не только оптимизирует процесс обработки данных, но также предлагает возможность масштабирования и повышения безопасности данных. Этот подход не только решит ваши текущие проблемы, такие как дублирование идентификаторов и вероятность ошибок в присутствии новых файлов, но и предоставит мощный инструмент для анализа данных. Не забудьте использовать возможности облачного хранилища для дополнительной безопасности и доступности данных.

Если вы будете следовать вышеуказанным рекомендациям, переход к BigQuery станет не только возможным, но и эффективным решением для вашего бизнеса, способствуя более глубокому анализу и адаптации к меняющимся условиям рынка.