Разное количество запросов к серверу. Почему?

Вопрос или проблема

gc = gs.service_account(filename="service_files/creds.json")
wks = gc.open_by_key("url имеет 35 списков")
article = []
price = []
batch_data = wks.worksheets()
for data in batch_data:
    article.extend(data.col_values(3))
    price.extend(data.col_values(4))
print(article)

gc = gs.service_account(filename="service_files/creds.json")
article = []
price = []
for i in range(1,35):
    wks = gc.open_by_key("url имеет 35 списков").get_worksheet(i)
    article.extend(wks.col_values(3))
    price.extend(wks.col_values(4))
print(article)

Ответ или решение

Разница в количестве запросов к серверу: причина и детали

В контексте использования библиотеки gspread для работы с Google Sheets, важной задачей является понимание, как различные способы обращения к графическому интерфейсу API влияют на количество запросов, отправляемых на сервер. Давайте рассмотрим ваш вопрос подробнее, основываясь на предоставленных примерах кода.

Примеры кода

В первом примере вы выполняете запрос для получения всех рабочих листов в одной операции:

gc = gs.service_account(filename="service_files/creds.json")
wks = gc.open_by_key("url have 35 list")
article = []
price = []
batch_data = wks.worksheets()
for data in batch_data:
    article.extend(data.col_values(3))
    price.extend(data.col_values(4))
print(article)

В данном случае вы сначала открываете файл по ключу и получаете список всех рабочих листов с помощью метода worksheets(). После этого вы последовательно обращаетесь к каждой колонке (3 и 4) листов, но каждый вызов col_values не запускает отдельного запроса, так как данные уже загружены в память при первой загрузке объекта wks.

Во втором примере вы осуществляете 35 отдельных запросов:

gc = gs.service_account(filename="service_files/creds.json")
article = []
price = []
for i in range(1, 35):
    wks = gc.open_by_key("url have 35 list").get_worksheet(i)
    article.extend(wks.col_values(3))
    price.extend(wks.col_values(4))
print(article)

Здесь каждый вызов get_worksheet(i) инициирует новый запрос к API Google Sheets, что приводит к 35 отдельным запросам (по одному на каждый лист). Это заметно увеличивает нагрузку на сервер и, как следствие, может привести к ошибке 429 Too Many Requests, если вы превысите лимиты, установленные Google.

Почему первый пример работает без ошибок?

В первом случае, когда вы обращаетесь к объекту рабочего листа через метод worksheets(), библиотека gspread может оптимизировать количество запросов. Данные с каждого рабочего листа загружаются за один запрос, а последующие обращения к методу col_values() используют кэшированные данные.

Второй вариант, напротив, вызывает отдельный запрос на каждый лист, тем самым увеличивая общее количество запросов. Каждое обращение к col_values тоже может считаться отдельным запросом, но в вашем случае это происходит для уже загруженных листов.

Заключение

Таким образом, разница в количестве запросов к серверу между двумя примерами заключается в способе доступа к данным. В первом примере количество вызовов API минимально благодаря кандидатной оптимизации, в то время как во втором примере запросы дублируются, что может привести к превышению лимитов.

Для улучшения работы с API Google Sheets и избегания ошибок, связанных с слишком частыми запросами, рекомендуется использовать методы, которые позволяют загружать данные пакетами, а не по отдельности. Например, старайтесь сначала загружать все необходимые данные, а затем обрабатывать их локально, что существенно снизит нагрузку на API и улучшит производительность вашего приложения.

Тайминг запросов к API

Если необходимо выполнить большое количество запросов, стоит учитывать возможность установки таймера между инициациями запросов или применение экстраха. Также рекомендуется следить за квотами ваших API запросов и при необходимости оптимизировать код с использованием кэширования.

Эти подходы не только позволят избежать проблем с превышением лимитов, но и значительно ускорят обработку данных в вашем приложении.