Вопрос или проблема
У меня есть 2 сервера (ubuntu), один из которых имеет связь из 2x1Gb Ethernet-карт, а другой – связь из 2x10Gbit карт. У последнего более медленная скорость передачи. Оба сервера находятся в одном стойке и передают данные на одну и ту же конечную точку (сервер -> конечная точка). Тестовый файл, который я передаю, хранится на SSD-диске каждого сервера.
Результаты 3 передач с использованием rsync на:
Сервере 1
testfile
6,291,456,000 100% 427.14MB/s 0:00:14 (xfr#1, to-chk=0/2)
testfile
6,291,456,000 100% 422.59MB/s 0:00:14 (xfr#1, to-chk=0/2)
testfile
6,291,456,000 100% 429.98MB/s 0:00:13 (xfr#1, to-chk=0/2)
Сервере 2
testfile
6,291,456,000 100% 241.90MB/s 0:00:24 (xfr#1, to-chk=0/2)
testfile
6,291,456,000 100% 252.72MB/s 0:00:23 (xfr#1, to-chk=0/2)
testfile
6,291,456,000 100% 244.74MB/s 0:00:24 (xfr#1, to-chk=0/2)
Карты на:
Сервер 1
Сеть: Устройство-1: Intel I350 Gigabit Network драйвер: igb
IF: eno1 состояние: включено скорость: 1000 Мбит/с полный дуплекс: полный mac: d8:5e:d3:8c:54:dd
Устройство-2: Intel I350 Gigabit Network драйвер: igb
IF: eno2 состояние: включено скорость: 1000 Мбит/с полный дуплекс: полный mac: d8:5e:d3:8c:54:dd
Сервер 2
Сеть: Карта-1: Intel Ethernet Controller 10G X550T драйвер: ixgbe
IF: eno1 состояние: включено скорость: 10000 Мбит/с полный дуплекс: полный mac: 3c:ec:ef:3d:ba:78
Карта-2: Intel Ethernet Controller 10G X550T драйвер: ixgbe
IF: eno2 состояние: включено скорость: 10000 Мбит/с полный дуплекс: полный mac: 3c:ec:ef:3d:ba:78
Настройки Netplan на:
Сервер 1
network:
ethernets:
eno1:
addresses: []
dhcp4: false
eno2:
addresses: []
dhcp4: false
ens7f0:
addresses: []
dhcp4: false
optional: true
ens7f1:
addresses: []
dhcp4: false
optional: true
version: 2
renderer: networkd
bonds:
bond0:
macaddress: d8:5e:d3:8c:54:dd
dhcp4: true
interfaces:
- eno1
- eno2
parameters:
fail-over-mac-policy: активный
mode: 802.3ad
lacp-rate: 0
mii-monitor-interval: 100
Сервер 2
network:
ethernets:
eno1:
addresses: []
dhcp4: false
eno2:
addresses: []
dhcp4: false
version: 2
renderer: networkd
bonds:
bond0:
macaddress: 3c:ec:ef:3d:ba:78
dhcp4: true
interfaces:
- eno1
- eno2
parameters:
fail-over-mac-policy: активный
mode: 802.3ad
lacp-rate: 0
mii-monitor-interval: 100
Единственное отличие, которое я вижу, это то, что сервер 2, самый медленный, работает на ubuntu 18.04, тогда как самый быстрый на ubuntu 20.04.
Может ли это быть проблемой? Есть ли у вас какие-либо другие предложения? Что попробовать? Я не эксперт в области сетей.
Спасибо
Ответ или решение
Почему скорость передачи данных на 10Gbit карте ниже, чем на 1Gbit карте?
Проблема, с которой вы столкнулись, довольно интересна и заслуживает тщательного анализа. У вас есть два сервера с разными конфигурациями сетевого оборудования, и вы заметили, что скорость передачи данных на сервере с 10Gbit картами значительно ниже, чем на сервере с 1Gbit картами. Давайте рассмотрим возможные причины этой ситуации и предложим несколько рекомендаций.
1. Аппаратные и программные настройки
Сначала давайте проанализируем конфигурации серверов.
- Сервер 1 (1Gbit): Использует два сетевых адаптера Intel I350 с объединением (bonding) интерфейсов для достижения скорости около 850 Mbps (в реальных условиях передачи).
- Сервер 2 (10Gbit): Оборудован двумя адаптерами Intel X550T, однако скорость передачи данных составляет лишь около 250 Mbps.
На первый взгляд может показаться, что 10Gbit адаптеры должны обеспечить значительно более высокую скорость, но это не всегда так. Существует множество факторов, которые могут влиять на характеристики сети.
2. Версия операционной системы
Вы указали, что на Server 1 установлена Ubuntu 20.04, а на Server 2 — Ubuntu 18.04. Версия операционной системы может играть ключевую роль в производительности сетевых адаптеров. Более новые версии Ubuntu могут иметь обновленные драйвера и улучшенные механизмы управления сетевыми ресурсами, что может существенно повысить производительность.
Рекомендация: Попробуйте обновить сервер 2 до более новой версии Ubuntu, например, 20.04 или новее, чтобы протестировать, решает ли это проблему со скоростью.
3. Конфигурация сетевых соединений
Обе системы используют объединение (bonding) с режимом 802.3ad (LACP). Однако параметры конфигурации могут влиять на эффективность работы. Проверка настройки LACP на коммутаторах (если они используются) имеет первостепенное значение.
Рекомендация: Убедитесь, что ваш коммутатор поддерживает LACP и правильно настроен для работы с двумя адаптерами 10Gbit.
4. Нагрузочные тесты и производительность
Проблема также может заключаться в ресурсах сервера. Следует проверить, не перегружены ли центральный процессор, память или дисковая подсистема при выполнении передачи.
Рекомендация: Используйте утилиты мониторинга, такие как top или htop, для контроля загрузки ресурсов во время передачи данных. Также проверьте скорость чтения/запись SSD с помощью fio или аналогичных инструментов.
5. Качество кабелей и подключения
Качество соединений и используемые кабели могут оказать значительное влияние на качество передачи данных. Убедитесь, что кабели соответствуют стандартам и имеют достаточную пропускную способность.
Рекомендация: Проверьте и при необходимости замените кабели на более качественные, поддерживающие 10Gbit. Убедитесь, что все соединения надежны и не имеют механических повреждений.
Заключение
Скорость передачи данных на 10Gbit картах может оказаться ниже, чем на 1Gbit, по целому ряду причин. Важнейшими факторами являются настройка программного обеспечения, версия операционной системы, параметры конфигурации сетевых интерфейсов, ресурсы сервера и качество физического подключения. Рекомендуется провести последовательную диагностику указанных проблем и, по возможности, обновить программное обеспечение на сервере с 10Gbit картами. Надеюсь, эти рекомендации окажутся полезными, и вы сможете решить вашу проблему.