Кто-нибудь сталкивался с такой ошибкой? “Израсходованы все доступные хосты для повторных попыток устранения ошибок сборки для экземпляра”

Вопрос или проблема

.

Ответ или решение

Теория

Ошибка, упомянутая в вашем вопросе, связана с созданием виртуальных машин в среде OpenStack. Сообщение об ошибке: "Exhausted all hosts available for retrying build failures for instance" указывает на проблему, которая возникает после исчерпания всех возможных узлов для развертывания инстанса. Основной причиной этой ошибки является исчерпание всех попыток размещения инстанса на доступных гипервизорах. В терминах OpenStack, это ошибка на уровне места размещения (scheduling), и она свидетельствует о проблемах в конфигурации или состоянии кластерной инфраструктуры.

Основными причинами появления этой ошибки могут быть:

1. Нехватка ресурсов: У системного администратора могло просто не хватить необходимых ресурсов (доступной оперативной памяти, CPU, дискового пространства) для запуска новой виртуальной машины на всех доступных узлах.

2. Неправильные фильтры планировщика: В OpenStack конфигурация фильтров планировщика может ограничивать узлы, которые возможно использовать для запуска инстансов. Если фильтры настроены неправильно, они могут исключать все узлы как потенциальные кандидаты.

3. Недоступность узлов: Один из узлов может быть отключен или недоступен, что снижает количество доступных вариантов для размещения инстанса.

4. Конфигурационные конфликты: Это могут быть ошибки в конфигурации сетевых параметров, хранилища или других подсистем, которые поддерживают OpenStack, которые мешают правильному развертыванию инстанса.

5. Проблемы с квотами: Если проект или пользователь превысил лимиты квот, новые экземпляры не смогут быть созданы.

Пример

Представим ситуацию, когда ваш кластер OpenStack состоит из трех узлов, которые работают с гипервизорами KVM. Один из узлов выключен на техническое обслуживание, а на оставшихся двух закончилась доступная оперативная память из-за массивного запуска высокоомных процессов.

Вы пытаетесь создать новый инстанс, но он постоянно падает с описанной выше ошибкой. Журнал ошибок OpenStack показывает двадцатикратную попытку размещения инстанса с однотипной неудачей, и общее сообщение, говорящие о том, что "Exhausted all hosts". Используя OpenStack CLI, вы проверяете используемую память на каждом узле и видите, что ресурсные ограничения действительно нарушены, тем самым подтверждая потенциальную проблему с нехваткой ресурсов.

Применение

Для исправления данной ошибки, необходимо провести несколько шагов. Во-первых, рассмотреть текущее состояние ресурсов:

1. Мониторинг ресурсов: Проверить с помощью инструментов мониторинга, таких как Grafana или Zabbix, доступность ресурсов на каждом из гипервизоров. Особенно обратите внимание на ОЗУ и CPU. С помощью команд openstack hypervisor stats show и openstack host list можно получить общее представление о текущем состоянии гипервизоров и серверов.

2. Проверить конфигурацию планировщика: Убедиться, что фильтры Scheduler оправдывают нужды инфраструктуры. Обратитесь к настройкам в /etc/nova/nova.conf, убедитесь, что такие фильтры, как RamFilter, DiskFilter или ComputeFilter, настроены правильно и отражают актуальное состояние ресурсов вашей инфраструктуры.

3. Проверка состояния узлов: Убедитесь, что все узлы — гипервизоры активны и правильно функционируют, используя команду nova service-list или через панель управления Horizon.

4. Изменение квоты: Проверьте и измените квоты, если они установлены неправильно. Используйте команду openstack quota show <project_name> для этой проверки.

5. Увеличение доступных ресурсов: В зависимости от анализа – может быть необходимо временно выключить ненужные инстансы или перераспределить ресурсы. Это может также включать добавление нового оборудования в кластер.

6. Диагностика логов: Изучите логи для получения более глубоких сведений о проблеме, например, /var/log/nova/nova-scheduler.log и /var/log/nova/nova-compute.log.

Подводя итог, для решения вопроса необходимо комплексное понимание ситуации, анализ в реальном времени ресурсов и журналов, а также точная настройка всех параметров конфигурации OpenStack. Успешное устранение проблемы обеспечит стабильность и производительность вашей виртуализованной среды.