Вопрос или проблема
HTTP-пайплайнинг — это техника, при которой несколько HTTP-запросов отправляются по одному TCP (протоколу управления передачей) соединению без ожидания соответствующих ответов.
Python HTTP-клиенты, такие как requests и urllib3, не поддерживают эту технику.
dugong пока не стабилен и не работает на Windows 10 и Python 3.8.5.
Удалось сделать это на python 2.7 / httplib.
Перед запросом:
conn._HTTPConnection__state = httplib._CS_IDLE
Перед получением ответа:
conn._HTTPConnection__state = httplib._CS_REQ_SENT
Где conn — это соединение, возвращаемое httplib.HTTPSConnection.
В моем случае все запросы были одного типа, с одинаковыми заголовками, за исключением одной переменной в строке GET. Не знаю, сработает ли это с различными типами запросов.
Ответ или решение
HTTP-пайплайнинг — это продвинутая техника, позволяющая отправлять несколько HTTP-запросов в рамках одного соединения TCP без ожидания ответов на них. Несмотря на свои преимущества, такие как снижение времени задержки, пайплайнинг не получил широкой поддержки в современных библиотеках Python для работы с HTTP.
Наиболее популярные библиотеки, такие как requests и urllib3, не поддерживают HTTP-пайплайнинг. Это может создать трудности для разработчиков, стремящихся использовать данную технологию для повышения производительности своих приложений. Альтернативная библиотека dugong, несмотря на свою возможность работать с пайплайнингом, на данный момент не является стабильной, а также имеет ограничения по совместимости, например, не работает на Windows 10 и в версиях Python 3.8.5.
Интересно отметить, что в Python 2.7 с использованием библиотеки httplib можно добиться пайплайнинга. Как это работает? Вам нужно изменить внутреннее состояние соединения перед отправкой запроса и получением ответа:
Перед отправкой запроса:
conn._HTTPConnection__state = httplib._CS_IDLEПеред получением ответа:
conn._HTTPConnection__state = httplib._CS_REQ_SENTТакой подход может сработать, если все ваши запросы имеют одинаковый тип и заголовки, за исключением одного переменного параметра в строке GET. Однако важно отметить, что это решение может не сработать для запросов разных типов.
Для разработчиков, работающих с более новыми версиями Python и стремящихся к использованию HTTP-пайплайнинга, есть смысл рассмотреть возможность использования альтернативных технологий или библиотек, таких как aiohttp, которая поддерживает асинхронные операции и позволяет отправлять несколько запросов одновременно. Хотя это не является полноценным решением проблемы пайплайнинга, оно может дать некоторые преимущества в производительности за счет многопоточности.
В заключение, несмотря на то что HTTP-пайплайнинг представляет собой интересный подход для оптимизации производительности, его реализация в Python на сегодняшний день ограничена. При планировании новых разработок стоит внимательно изучить доступные библиотеки и их функционал в контексте ваших требований.