cephadm не добавляет mon-daemon после добавления узла

Вопрос или проблема

main@node01:~$ sudo ceph orch host add node03 10.0.0.155
Добавлен узел 'node03' с адресом '10.0.0.155'

main@node01:~$ sudo ceph node ls
{
    "mon": {
        "node01": [
            "node01"
        ],
        "node02": [
            "node02"
        ]
    },
    "osd": {},
    "mgr": {
        "node01": [
            "node01.gnxkpe"
        ],
        "node02": [
            "node02.tdjwgc"
        ]
    }
}

main@node01:~$ sudo ceph orch host ls
УЗЕЛ    АДРЕС      МЕТКИ  СТАТУС  
node01  10.0.0.101  _admin          
node02  10.0.0.131  _admin          
node03  10.0.0.155  _admin          
3 узла в кластере

main@node01:~$ sudo ceph status
  кластер:
    id:     cab58bfb-9cef-11ef-a862-408d5c51323a
    состояние: HEALTH_WARN
            1 неработающий демон cephadm
            не удалось обнаружить демоны или устройства
            Количество OSD 0 < osd_pool_default_size 3
 
  службы:
    mon: 2 демона, кворум node01,node02 (возраст 3ч)
    mgr: node01.gnxkpe(активен, с 6ч), резервные: node02.tdjwgc
    osd: 0 osd: 0 в работе, 0 в сети

main@node01:~$ sudo ceph orch daemon add mon node03
Ошибка EINVAL: имя mon.node03 уже используется

Ответ или решение

Проблема с добавлением mon-демона в кластер Ceph с помощью cephadm

Ваша ситуация с кластером Ceph, управляемым через cephadm, говорит о том, что вы успешно добавили новый узел (node03), но мониторы (mon) не продемонстрировали свое присутствие. Давайте разберем, почему это произошло и какие действия можно предпринять для решения этой проблемы.

1. Анализ текущего состояния кластера

Из предоставленной информации видно, что команда sudo ceph orch host add node03 10.0.0.155 успешно добавила узел, что подтверждается выводом Added host 'node03' with addr '10.0.0.155'. Однако при выполнении команды sudo ceph node ls, вышеуказанный узел не отображается как активный монитор.

Проверив статус кластера с помощью sudo ceph status, мы наблюдаем, что у вас 2 монитора, которые находятся в кворуме (node01 и node02), и никаких OSD не настроено. Также в правом верхнем углу выводится предупреждение о том, что "1 failed cephadm daemon(s)".

2. Причины неуспешного запуска mon-демона

Сообщение об ошибке, которое вы получили при попытке добавить монитор sudo ceph orch daemon add mon node03, указывает на то, что имя mon.node03 уже используется. Таким образом, система пытается предотвратить конфликты с именами, но на самом деле демоны не были успешно запущены для этого нового узла.

Вот несколько возможных причин и рекомендаций:

• Проблемы с конфигурацией: Возможно, конфигурация вашего нового узла (node03) не соответствует требованиям кластера Ceph. Убедитесь, что на узле установлены все необходимые пакеты и зависимости Ceph. Попробуйте выполнить установку с использованием команды cephadm bootstrap с параметрами, которые соответствуют вашей сети.

• Логи и диагностика: Проверьте логи на исходных узлах (node01 и node02) и на новом узле (node03). Логи демонов Ceph часто содержат критическую информацию об ошибках, которые могут препятствовать нормальной работе. Логи можно найти в /var/log/ceph/.

• Проблемы с сетью: Проверьте, что узел node03 может достичь node01 и node02 по сети. Для этого можно использовать команды ping и telnet к соответствующим портам Ceph (обычно 6789 для мониторов).

3. Решение проблемы

Для того чтобы исправить ситуацию и запустить mon-демон на новом узле, следует предпринять следующие шаги:

1. Удалить конфигурацию mon.node03:
   Сначала удалите любые существующие конфигурации или записи о mon.node03, если они есть. Для этого выполните команды:

   sudo ceph orch daemon rm mon.node03

   и проверьте, что запись была удалена:

   sudo ceph node ls

2. Добавить monitornode03:
   После удаления запустите команду для повторного добавления монитора:

   sudo ceph orch daemon add mon node03

3. Проверить состояние кластера:
   Убедитесь, что новый монитор был успешно добавлен, с помощью:

   sudo ceph node ls
   sudo ceph status

4. Коррекция конфигураций OSD:
   Обратите внимание на предупреждение о том, что у вас нет OSD. Рассмотрите возможность настройки OSD для корректной работы кластера.

Заключение

Подводя итоги, следует уделять особое внимание как конфигурации узлов, так и состоянию сети. Надеемся, что приведенные рекомендации помогут вам успешно интегрировать новый узел в ваш кластер Ceph. Если проблемы продолжатся, рассмотрите возможность использования консольных утилит для диагностики и взаимодействия с вашей системой, таких как ceph daemon и cephadm shell.