Ошибка подключения к Mount CephFS

Вопрос или проблема

[root@rv31 ~]# mount -t ceph 192.168.1.88:/ /data/cephmount/ -o name=admin,secretfile=/etc/ceph/admin.secret 
mount error 110 = Время подключения истекло

[root@host1 ~]# ceph status
клuster:
  id:     28f0f54f-10a0-442a-ab10-ab68381f56e3
  health: HEALTH_WARN
        мониторы допускают незащищенное восстановление global_id

услуги:
  mon: 3 демона, кворум host1,host2,host3 (возраст 7ч)
  mgr: host1.home.dom (активный, с 7ч)
  osd: 3 osd: 3 работают (с 7ч), 3 в (с 21ч)

данные:
  бассейны:   2 бассейна, 33 pg
  объекты: 905 объектов, 3.4 GiB
  использование:   10 GiB использовано, 50 GiB / 60 GiB доступно
  pg:     33 активные+чистые

[root@host1 ~]# ceph orch host ls
Ошибка ENOENT: orchestrator не настроен (попробуйте `ceph orch set backend`)

[global]
fsid = 28f0f54f-10a0-442a-ab10-ab68381f56e3
mon_initial_members = host1, host2, host3
mon_host = 192.168.1.88,192.168.1.89,192.168.1.90
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
[mds.a]
host = host1.home.dom

[root@host1 ceph]# systemctl status ceph-mds.target
● ceph-mds.target - целевой ceph, позволяющий запускать/останавливать все ceph- 
[email protected] инстансы одновременно
Загружено: загружено (/usr/lib/systemd/system/ceph-mds.target; включено; 
предустановленный вендор: включено)
Активно: активно с Ср 2024-09-25 08:26:56 MSK; 9ч назад

[root@host1 ceph]# ceph mds stat
2 работают:в режиме ожидания

Ответ или решение

Ошибка при монтировании CephFS, которую вы наблюдаете, указывает на проблему с подключением между клиентом и мониторами Ceph. Давайте рассмотрим несколько шагов для устранения этой проблемы.

1. Проверьте сетевое соединение

Убедитесь, что вы можете связаться с монитором Ceph (IP: 192.168.1.88) с клиента. Используйте команду ping для проверки доступности:

ping 192.168.1.88

Если вы не получаете ответа, проверьте сетевые настройки и убедитесь, что есть маршрутизация между клиентом и сервером.

2. Проверьте порты

Убедитесь, что необходимые порты для коммуникации Ceph открыты. Ceph использует следующие порты по умолчанию:

• TCP 6789 для мониторинга
• TCP 3300 для Ceph OSD

Вы можете использовать телнет для проверки доступа к порту мониторинга:

telnet 192.168.1.88 6789

3. Проверьте конфигурацию Ceph

Убедитесь, что в вашем файле конфигурации ceph.conf правильно указаны IP-адреса всех мониторов. Ваша конфигурация выглядит корректной, но также убедитесь, что все мониторы работают:

ceph mon stat

Это должно показать статус всех ваших мониторов.

4. Проверка файла секрета

Убедитесь, что файл /etc/ceph/admin.secret действительно содержит правильный секрет для пользователя admin. Вы можете проверить содержимое файла следующей командой:

cat /etc/ceph/admin.secret

Сравните это с тем, что хранится в оркестраторе Ceph.

5. Убедитесь, что MDS работает

Судя по выводу ceph mds stat, ваш MDS (Metadata Server) активен, но для монтирования необходимо, чтобы он был в статусе active. Убедитесь, что есть активный экземпляр MDS:

ceph mds stat

Если два MDS-процесса находятся в состоянии "standby", это может быть причиной нестабильности. Попробуйте перезапустить их:

ceph mds restart <текущий_host>

6. Проверьте логи

Посмотрите логи Ceph на наличие ошибок. Это может дать представление о причинах проблемы:

journalctl -u ceph-mds@<имя_вашего_mds>

7. Проверьте состояние кластера

Хотя статус кластера говорит о его здоровье, наличие предупреждений (например, mons are allowing insecure global_id reclaim) может указывать на необходимость проверок конфигурации безопасности.

Заключение

После выполнения вышеперечисленных шагов попробуйте снова выполнить команду монтирования:

mount -t ceph 192.168.1.88:/ /data/cephmount/ -o name=admin,secretfile=/etc/ceph/admin.secret

Если проблема сохраняется после выполнения всех вышеперечисленных шагов, пожалуйста, предоставьте дополнительную информацию о любых изменениях или ошибках, которые вы наблюдаете.