Ошибка “невозможно выделить память” при попытке создать папку в иерархии cgroup.

Вопрос или проблема

mkdir /sys/fs/cgroup/memory/users/newuser
mkdir: cannot create directory ‘/sys/fs/cgroup/memory/users/newusers’: Cannot allocate memory

ls /sys/fs/cgroup/memory/users/ | wc -l
7298

cd /sys/fs/cgroup/memory/users/
ls | xargs -n1 rmdir
# ошибки для используемых папок, успешное удаление для неиспользуемых
mkdir /sys/fs/cgroup/memory/users/newuser
# теперь работает нормально

ls /sys/fs/cgroup/cpu,cpuacct/users/ | wc -l
7450
mkdir /sys/fs/cgroup/cpu,cpuacct/users/newuser
# все в порядке

Ответ или решение

Ваше описание проблемы с ошибкой "cannot allocate memory" при создании папок в иерархии cgroup связано с управлением ресурсами в системах на базе Linux. Давайте разберемся с возможными причинами и решениями.

Основные аспекты проблемы

Вы столкнулись с ошибкой «cannot allocate memory» при попытке создания новой папки для пользователей в иерархии memory cgroup, несмотря на наличие достаточного объема свободной оперативной памяти и swap. Изменение параметра vm.overcommit_memory не оказало влияния на ситуацию. Основная проблема, как оказалось, была решена удалением неиспользуемых пользовательских папок в иерархии.

Анализ проблемы

1. Структура cgroup и учет памяти: Cgroup (Control Group) позволяет управлять и ограничивать использование ресурсов, таких как память и процессорное время, между группами процессов на уровне ядра. Для каждой cgroup подсистемы создается специфическая структура данных, которая учитывает потребление ресурсов. В вашем случае это мемори-контроллер, который имеет ассоциированную структуру данных mem_cgroup.

2. Ограничения памяти: Как указывалось ранее, каждая cgroup имеет память, которая ограничена параметром /sys/fs/cgroup/memory/memory.limit_in_bytes, и ведется учет ее использования через /sys/fs/cgroup/memory/memory.max_usage_in_bytes. Если значение второго параметра приближается к первому, появляется риск получить "out-of-memory" ошибки. Чтобы диагностировать такие ситуации, важно проверить счётчики отказов, такие как memory.failcnt, memory.kmem.failcnt и memory.kmem.tcp.failcnt.

3. Переполненная иерархия: В вашем случае проблема могла быть вызвана большим числом существующих поддиректорий в иерархии memory cgroup. Симптомы исчезли после удаления большинства неиспользуемых папок. Зависание именно на memory cgroup объясняется тем, что различным типам cgroup могут предаваться различные внутренние ограничения на количество элементов, которые они могут обрабатывать, в зависимости от системных настроек и специфики работы подсистем.

Рекомендации и решения

• Мониторинг и очистка: Рекомендуется регулярно проводить мониторинг и чистку старых и неиспользуемых cgroup в системах. Удобнее организовать это как автоматизированную задачу, используя cron или систему мониторинга.

• Изменение лимитов: Проверьте текущие ограничения на количество cgroup в системе и при необходимости обновите или измените их. Это можно сделать через соответствующие файлы настроек в /sys/fs/cgroup.

• Диагностика и анализ: Для более углубленной диагностики можно использовать инструменты анализа использования cgroup, такие как cgget или cgroups-tools, для получения более детальной информации о потреблении ресурсов и ограничениях.

• Оптимизация конфигурации cgroup: В некоторых случаях стоит рассмотреть использование объединённых контроллеров (например, cgroup v2), которые могут предложить более гибкое управление ресурсами и уменьшение накладных расходов.

Эти шаги помогут предотвратить появление аналогичных проблем в будущем и улучшить стабильность и управляемость ваших серверных систем.