Почему cURL медленнее, чем wget

Содержание

Вопрос или проблема
Ответ или решение
Почему cURL медленнее, чем wget: Анализ проблемы
Введение
Основные различия между cURL и wget
Возможные причины медленной работы cURL
Рекомендации по улучшению производительности cURL
Заключение

Вопрос или проблема

Тестовая страница: https://www.beobank.be/nl/Home.aspx

Вот результат с использованием wget (или настоящего браузера):

# time wget https://www.beobank.be/nl/Home.aspx -O /dev/null
--2015-01-26 12:05:46--  https://www.beobank.be/nl/Home.aspx
Разрешение www.beobank.be (www.beobank.be)... 62.213.211.94
Подключение к www.beobank.be (www.beobank.be)|62.213.211.94|:443... подключено.
HTTP запрос отправлен, ожидаем ответ... 200 OK
Длина: 33444 (33K) [text/html]
Сохранение в: `/dev/null'

100%[======================================================================================================================================================>] 33,444      --.-K/s   за 0.05s   

2015-01-26 12:05:47 (670 KB/s) - `/dev/null' сохранен [33444/33444]


реальное   0m1.327s
пользовательское 0m1.072s
системное  0m0.060s

А вот результат с использованием curl:

# time curl https://www.beobank.be/nl/Home.aspx &>/dev/null

реальное   1m0.741s
пользовательское 0m0.012s
системное  0m0.012s

OS X, похоже, не имеет этой проблемы (cURL быстрый).
Это происходит только на Linux, насколько я могу протестировать. Все машины (я пробовал несколько) основаны на Debian (с последним программным обеспечением) и имеют включенный IPv6, но у этого сайта нет записей IPv6.
Все тесты занимают чуть больше 1 минуты — что похоже на то, что что-то истекает по времени?

Запрос к Google быстрый:

# time curl https://www.google.com/ &>/dev/null

реальное   0m0.550s
пользовательское 0m0.020s
системное  0m0.012s

Добавление параметра “-4” к cURL для принудительного использования IPv4, похоже, ничего не меняет.

В чем может быть причина?

Используйте tcpdump на порту 53 UDP, чтобы изучить, как работает соединение, когда вы запрашиваете сайт через CURL и wget на второй вкладке.

Обычная причина связана с конфликтом IPv4/IPv6, который можно исправить, отключив IPv6 в sysctl или добавив опцию single-request-reopen в /etc/resolv.conf.

Ответ или решение

Почему cURL медленнее, чем wget: Анализ проблемы

Введение

Вопрос о том, почему cURL демонстрирует более медленную скорость по сравнению с wget, является интересной темой для обсуждения, особенно на примере конкретного запроса к сайту как в вашем тесте на https://www.beobank.be/nl/Home.aspx. Данный анализ будет сосредоточен на различиях в реализации и конфигурации этих инструментов, а также причинах, способствующих замедлению работы cURL в среде Linux.

Основные различия между cURL и wget

1. Архитектурное различие

wget – это утилита, оптимизированная для загрузки файлов из сети. Она имеет встроенные механизмы повторных попыток запроса, что может упростить обработку временных сетевых сбоев.
cURL, с другой стороны, более универсален и подходит для взаимодействия с REST API и выполнения сложных запросов. Однако это также может привести к дополнительной латентности в некоторых сценариях, поскольку cURL может извлекать и обрабатывать больше заголовков ответа и выполнять дополнительную обработку.

2. Обработка DNS

Судя по предоставленным данным, возможно основное направление проблемы кроется в DNS-запросах и их обработке:

cURL часто используетIPv6. Если записи для данного сайта отсутствуют, cURL может столкнуться с тайм-аутами, ожидая ответа от IPv6, что и приводит к задержкам.
wget, как оказалось, использует более эффективные стратегии для обработки DNS, что позволяет ему быстрее начинать соединения. Ваша проверка с помощью tcpdump может показать, как именно происходит обмениваются запросами cURL и wget.

Возможные причины медленной работы cURL

1. Конфликт IPv4/IPv6

Как вы упомянули, на стороне Linux возможно наличие конфликтов между IPv4 и IPv6. Убедитесь, что cURL не пытается установить соединение по IPv6, когда это невозможно:

Попробуйте отключить IPv6 через настройки sysctl или добавив параметр single-request-reopen в файл /etc/resolv.conf для управления поведением DNS-клиента.

2. Конфигурация системы

Следующие аспекты конфигурации вашей системы могут оказывать влияние на производительность cURL:

Параметры прокси: Проверьте, нет ли настроенных прокси-серверов, которые могут задерживать запросы cURL.
Правила брандмауэра: Убедитесь, что настройки брандмауэра не блокируют или не замедляют трафик.

3. Нагрузочные факторы на сервере

Сервер, с которым вы взаимодействуете, может по-разному реагировать на запросы от wget и cURL. Возможно, сервер блокирует или ограничивает определенные типы запросов, отправленных от cURL из-за определенных заголовков или механики работы.

Заключение

В результате проведенного анализа можно утверждать, что замедленная работа cURL по сравнению с wget в вашей ситуации, скорее всего, связана с проблемами с DNS, характерными для конфигурации вашей системы или конфликта между IPv4 и IPv6. Убедитесь, что ваши сетевые настройки оптимальны, и используйте методы, описанные выше, чтобы улучшить производительность вашего сетевого инструмента.