Ошибка монтирования cephfs из-за сбоя при загрузке модуля ядра.

Вопрос или проблема

[root@dbffa72704e4 ~]$ /bin/mount 172.17.0.4:/ /cephfs -t ceph -o name=admin,secretfile=/etc/ceph/admin.secret -v
failed to load ceph kernel module (1)
parsing options: rw,name=admin,secretfile=/etc/ceph/admin.secret
mount error 5 = Input/output error

[root@dbffa72704e4 ~]$ lsmod | grep ceph
ceph                  327687  0
libceph               287066  1 ceph
dns_resolver           13140  2 nfsv4,libceph
libcrc32c              12644  3 xfs,libceph,dm_persistent_data

Проверьте состояние ceph (я только установил диск данных для osd):

[root@dbffa72704e4 ~]$ ceph -s
  cluster:
    id:     20f51975-303e-446f-903f-04e1feaff7d0
    health: HEALTH_WARN
            Reduced data availability: 128 pgs inactive
            Degraded data redundancy: 128 pgs unclean

  services:
    mon: 2 daemons, quorum dbffa72704e4,5807d12f920e
    mgr: dbffa72704e4(active), standbys: 5807d12f920e
    mds: cephfs-1/1/1 up  {0=5807d12f920e=up:creating}, 1 up:standby
    osd: 0 osds: 0 up, 0 in

  data:
    pools:   2 pools, 128 pgs
    objects: 0 objects, 0 bytes
    usage:   0 kB used, 0 kB / 0 kB avail
    pgs:     100.000% pgs unknown
             128 unknown

[root@dbffa72704e4 ~]$ ceph version
ceph version 12.2.1 (3e7492b9ada8bdc9a5cd0feafd42fbca27f9c38e) luminous (stable)

Ответ или решение

Чтобы решить проблему с монтированием CephFS, необходимо подробнее рассмотреть несколько аспектов вашего окружения и конфигурации Ceph. Сделаем пошаговый анализ ситуации, основываясь на предоставленных данных:

Определение Проблемы

Вы столкнулись с проблемой при монтировании CephFS, которая сопровождается ошибкой загрузки модуля ядра Ceph и ошибкой ввода/вывода. Несмотря на то, что необходимые модули ядра вроде как загружены, в работе кластера Ceph явно есть несовершенства, влияющие на попытку монтирования CephFS.

Анализ Конфигурации Кластера Ceph

1. Отсутствие OSD-в:

   • Логи указывают на то, что в кластере 0 OSD-в активны и назначены. Это напрямую влияет на возможность создания объектов в системе. Без активных OSD-в невозможно корректное функционирование MDS, что в свою очередь препятствует успешному монтированию CephFS.

2. Состояние MDS:

   • MDS находится в состоянии создания («up:creating»), что указывает на отсутствие необходимой инфраструктуры для завершения её инициализации. Это также связано с отсутствием доступных OSD-в.

Рекомендации по Решению Проблемы

1. Проверка и Настройка OSD:

   • Убедитесь, что OSD конфигурируются и запускаются корректно. Проверьте конфигурационные файлы, чтобы удостовериться, что данные и журнальные диски правильно связаны. Если используется контейнеризированный подход, проверьте, что все контейнеры настроены правильно и между ними есть сетевая связь.

2. Проверка Сетевых Настроек:

   • Проверьте настройки сети, чтобы гарантировать связь между всеми узлами кластера (мониторами, OSD, MDS). Убедитесь, что все необходимые порты открыты и не блокируются брандмауэром или другими сетевыми фильтрами.

3. Проверка Логов и Диагностика:

   • Исследуйте логи OSD для выявления возможных причин их неактивации. Это может помочь в устранении нюансов, связанных с запуском служб Ceph.

4. Актуализация Версий ПО:

   • Проверьте, используется ли последняя стабильная версия Ceph. Возможно, обновление до более современной версии решит некоторые несовместимости или ошибки.

Заключение

Проблема, с которой вы столкнулись, является результатом отсутствия активных OSD-ов в кластере, что препятствует полной инициализации и активации MDS. Рекомендуется начать с устранения проблем, связанных с OSD, и затем проверять настройку CephFS. Обратите внимание на сетевые конфигурации и логи, которые могут дать подсказки о причинах неудач. При правильной конфигурации и устранении данных проблем, монтирование CephFS должно пройти успешно.