Подключение хранилища Fiber Channel к серверу, работающему под управлением Proxmox.

Вопрос или проблема

У меня есть два сервера HP Proliant DL360 gen9 и хранилище Dell PowerVault MD3600f. Цель — настроить кластер из двух серверов Proxmox с общим FC хранилищем и высокой доступностью.

Хранилище настроено так, чтобы иметь один виртуальный диск, сопоставленный с группой хостов, содержащей оба сервера. Для этого использовался инструмент MDSM, который автоматически picked up WWN FC-портов серверов.

Хранилище подключено напрямую к обоим серверам с использованием одного порта на соединение.

На стороне сервера хранилище не появляется как блочное устройство:

# lsblk
NAME               MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS
sda                  8:0    0 298.1G  0 disk 
├─sda1               8:1    0  1007K  0 part 
├─sda2               8:2    0     1G  0 part /boot/efi
└─sda3               8:3    0 297.1G  0 part 
  ├─pve-swap       252:0    0     8G  0 lvm  [SWAP]
  ├─pve-root       252:1    0  84.3G  0 lvm  /
  ├─pve-data_tmeta 252:2    0   1.9G  0 lvm  
  │ └─pve-data     252:4    0   185G  0 lvm  
  └─pve-data_tdata 252:3    0   185G  0 lvm  
    └─pve-data     252:4    0   185G  0 lvm

Не присутствует в списке SCSI устройств:

# lsscsi -g
[0:0:0:0]    storage HP       P440ar           7.00  -          /dev/sg0 
[0:1:0:0]    disk    HP       LOGICAL VOLUME   7.00  /dev/sda   /dev/sg1

Есть ли предложения, в чем может быть проблема и как это исправить? Я думаю, что проблема в конфигурации MD3600f, но MDSM едва позволяет настраивать, не так уж много настроек можно испортить.

Проблема была в настройках MDSM. LUN, который я сопоставил с группой хостов, имел id 0; как только я изменил его на что-то другое, скажем, на 100, все заработало. Все еще выясняю, была ли это конфликт на стороне сервера или LUN 0 зарезервирован.

PowerVault разрешает использовать LUN0, но он был занят собственным диском серверов.

Ответ или решение

Сетевое и хранилищевое оборудование всегда требует внимания к деталям и тщательной настройки. Ваша задача по созданию кластера на базе Proxmox с использованием совместного FC-хранилища на основе оборудования HP Proliant DL360 Gen9 и Dell PowerVault MD3600f представляет собой довольно типичную задачу для корпоративной ИТ-инфраструктуры, но сталкиваться с проблемами конфигурации — не редкость. Рассмотрим подробно возможные причины проблем и способы их устранения.

Теория

Во-первых, важно понимать, что соединение через Fibre Channel (FC) требует настройки как программного, так и аппаратного обеспечения. FC — это высокопроизводительный и надёжный способ соединения серверов и накопителей данных, обычно используемый в крупных корпоративных сетях. Он работает по модели клиент-сервер, где серверы запрашивают доступ к блокам данных, находящимся на LUN (логическая единица или Logical Unit Number).

Одной из возможных причин того, что ваше хранилище не появляется в списке блочных устройств на сервере, может быть конфликт в конфигурации LUN. Ваша проблема, судя по всему, именно в этом, так как вы упомянули, что изменения идентификатора LUN с 0 на другое значение помогло решить проблему.

Пример

У вас возникла ситуация, когда PowerVault не распознавался как блочное устройство на серверах. Использование LUN с идентификатором 0 в MDSM (Modular Disk Storage Manager) создало конфликт, вероятно, потому что в современных операционных системах LUN 0 может быть предопределён для системных нужд. По умолчанию, если диск сервера сам использует LUN0, это может вызвать проблемы с вашей конфигурацией.

Применение

Проверка конфигурации FC: Убедитесь, что все физические подключения исправны, и ваши кабели в порядке. Также важно обеспечить, чтобы на каждом этапе соединения были согласованы скорости передачи данных и режимы работы (например, full-duplex).
Ограничения LUN: Некоторые операционные системы и сами серверы могут резервировать LUN 0, как правило, для определённых системных задач. При настройке MDSM попробуйте избегать использования LUN с идентификатором 0, чтобы исключить подобные конфликты.
Инициализация и видимость устройства: Проверьте, что устройство правильно инициализировано и видимо на уровне ОС. Использование команд, таких как rescan-scsi-bus.sh, поможет обнаружить новые устройства. Полезно также обновить прошивку как серверов, так и самого хранилища для устранения возможных неполадок и для обеспечения совместимости.
Драйверы и модули ядра: Убедитесь, что все необходимые драйверы и модули ядра (например, lpfc для устройств с использованием карты HBA) загружены и правильно работают. Эти модули обеспечивают связь между сервером и FC-сетью.
Логи и диагностика: Изучите журналы событий на сервере и в MDSM, чтобы выявить любые ошибки сопряжения или конфигурации. Лог-файлы могут дать представление о том, в каких точках цепочки происходят сбои.
Конфигурация MDSM: Иногда стоит даже временно создать новый хост-группу и виртуальный диск с иным идентификатором LUN и настроить их под вашу рабочую нагрузку.

В завершение, настройка FC-хранилища с Proxmox требует скрупулезного подхода. Важно не только соблюдать все технические аспекты настройки, но и учитывать особенности оборудования и программного обеспечения, таких как возможные ограничения или конфликты идентификаторов (например, LUN 0). Кроме того, требуется регулярный мониторинг и обновление всех компонентов системы для обеспечения их бесперебойной работы. Надеюсь, это руководство поможет вам в успешной конфигурации вашего кластера и в устранении проблем в дальнейшем.