Пакеты ipmitool выходят через неправильный сетевой интерфейс на мостовом интерфейсе.

Вопрос или проблема

После изменения подсетей для сетевого интерфейса, подключенного к LAN/WAN (соединение 1), теперь у нас возникают проблемы с успешным использованием ipmitool через нашу управленческую сеть (соединение 2), настроенную на другом интерфейсе, конфигурация которого не изменялась. У нас есть Ethernet-соединение управленческой сети (2) и третье проводное оптоволоконное соединение (3), которые объединены на сервере для нескольких виртуальных машин QEMU, работающих на нем.

Это на сервере CentOS 7, который был настроен до моего прихода. Изменение подсети для LAN/WAN может иметь только косвенное отношение, так как это совпало с первым перезапуском сетевых служб на сервере с тех пор, как я начал с ним работать.

Запуск tcpdump на каждом интерфейсе показывает, что пакеты ipmitool отправляются через соединение 3, вместо Ethernet NIC (2), с которым он объединен. Чтобы обобщить это менее запутанным образом:

eno1 – Ethernet для управленческой сети IPMI
enp33s0f1 – оптоволокно для LAN/WAN
enp33s0f0 – оптоволокно для старой сетевой инфраструктуры (остаток от того времени, когда соединение LAN/WAN находилось на другой подсети)

Сетевое объединение:

eno1 и enp33s0f0 как br0 с IP-адресами:
10.10.10.1/24 (доступная сеть)
10.10.20.1/24 (управленческая сеть IPMI)

enp33s0f1d1 как br1 с IP:
10.10.50.3/16 (LAN/WAN)
10.10.0.1 шлюз

Таблица маршрутизации:
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 10.10.0.1 0.0.0.0 UG 425 0 0 br1
10.10.0.0 0.0.0.0 255.255.0.0 U 425 0 0 br1
10.10.10.0 0.0.0.0 255.255.255.0 U 426 0 0 br0
10.10.20.0 0.0.0.0 255.255.255.0 U 424 0 0 br0

Чтобы изолировать проблему до сервера, я перенес Ethernet-кабель управленческой сети с сервера на ноутбук, установил IP-адрес ноутбука на 10.10.20.1 и смог успешно использовать ipmitool для машин в 10.10.20.0/24.

Что касается изменения подсети: enp33s0f1d1 был на 10.70.10.0/16 ранее, когда мы могли управлять другими серверами в управленческой сети 10.10.20.0/24 с помощью ipmitool без каких-либо проблем. После изменения br1 на 10.10.50.3 и перезапуска сетевых служб ipmitool больше не работает.

Детали tcp-dump: запустил tcpdump -i [интерфейс] dst 10.10.20.53 на eno1, enp33s0f0 и enp33s0f1d1, пытаясь инициировать соединение ipmi с 10.10.20.53. Все пакеты отправлялись через enp33s0f0, когда они должны были отправляться через eno1. Я представляю, что мы упускаем что-то простое, но я сбит с толку объединением/маршрутизацией, особенно. Любые мысли или помощь будут высоко оценены.

Ответ или решение

Анализ и Решение Проблемы с Использованием ipmitool на Сервере с Мостами

Контекст:
Вы столкнулись с проблемами при использовании ipmitool для управления серверами через выделенную сеть IPMI после изменения подсетей и перезапуска сетевых служб на сервере под управлением CentOS 7. Ваши интерфейсы Ethernet и волоконно-оптические соединения организованы через мосты, что создает дополнительные сложности при маршрутизации трафика.

1. Изложение Проблемы

После изменения подсети для NIC enp33s0f1 (ЛАН/ВАН) с 10.70.10.0/16 на 10.10.50.3/16, а также перезапуска сетевых служб, ipmitool перестал правильно использовать интерфейс eno1, который предназначен для управления сетевым трафиком IPMI. В результате, tcpdump показывает, что пакеты уходят через enp33s0f0, а не ожидаемым образом через eno1.

2. Структура Сети

Ваш сервер имеет следующие сетевые интерфейсы:

• eno1 — Ethernet для сети управления IPMI с IP 10.10.20.1/24.
• enp33s0f1 — волоконно-оптический интерфейс для ЛАН/ВАН с IP 10.10.50.3/16.
• enp33s0f0 — еще один волоконно-оптический интерфейс, который был присоединен к старой сети доступа.

Сетевые мосты организованы следующим образом:

• br0 включает eno1 и enp33s0f0, с IP 10.10.10.1/24 (доступная сеть) и 10.10.20.1/24 (управление IPMI).
• br1 включает enp33s0f1, с IP 10.10.50.3/16 (ЛАН/ВАН).

3. Распределение Маршрутизации

Ваша таблица маршрутизации подтверждает приоритетность маршрутов. br1 имеет более высокий метрик, чем br0, что может привести к не совсем ожидаемому поведению во время генерации пакетов, особенно с учетом того, что ipmitool активно использует определенные маршруты, которые могут перекрываться между мостами.

Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         10.10.0.1       0.0.0.0         UG    425    0        0 br1
...
10.10.20.0      0.0.0.0         255.255.255.0   U     424    0        0 br0

4. Возможные Причины Проблемы

1. Конфигурация мостов: Возможно, конфигурация мостов не совсем правильная. Нужно убедиться, что br0 корректно захватывает трафик от eno1 и enp33s0f0.
2. Приоритет маршрутов: Маршрут по умолчанию, указывающий на br1, может направлять трафик в неверное направление. Необходимо оценить настройки iptables и маршрутизацию, чтобы убрать потенциальные конфликты.
3. ARP-таблица: Возможно, ARP-таблица серверов нуждается в обновлении. Проверьте наличие ARP-записей для IP-адресов на сетевых интерфейсах.

5. Рекомендации

1. Проверка конфигурации мостов:

   • Убедитесь, что конфигурация мостов в файлах конфигурации сети соответствует вашим ожиданиям.
   • Проверьте brctl show для получения информации о текущих мостах и их состоянии.

2. Изменение маршрутов:

   • Если проблема кроется в маршрутизации, попробуйте временно изменить порядка маршрутов, чтобы убедиться, что трафик отправляется через нужный интерфейс.
   • Рассмотрите возможность удаления маршрута по умолчанию для br1, чтобы исключить его влияние на сетевой трафик.

3. Отладка ARP:

   • Выполните команду arp -n, чтобы проверить, какие ARP-записи есть у сервера.
   • Убедитесь, что нужные IP-адреса правильно сопоставлены с MAC-адресами на eno1.

Заключение

Эффективное решение проблемы с ipmitool требует внимательного анализа конфигурации сети и маршрутизации на вашем сервере. Применив предложенные шаги для диагностики и настройки интерфейсов, вы сможете вернуть функциональность управления IPMI к желаемому уровню. Обязательно документируйте все изменения, чтобы облегчить будущую работу с сетевыми интерфейсами.