Как настроить cgroup памяти с включенным OOM-убийцей?

Вопрос или проблема

mkdir /sys/fs/cgroup/memory/test
echo 32212254720 > /sys/fs/cgroup/memory/test/memory.limit_in_bytes
cgexec -g memory:test …

❯ cat memory.limit_in_bytes 
32212254720
❯ cat memory.usage_in_bytes 
32197885952
❯ cat memory.oom_control 
oom_kill_disable 0
under_oom 0
oom_kill 0

Ответ или решение

Настройка Memory Cgroup с включенным OOM Killer

Настройка memory cgroup (контрольной группы памяти) с активированным OOM killer может представлять собой серьезную задачу, особенно при наличии специфических требований к управлению памятью приложений. В данном руководстве мы рассмотрим, как правильно настроить memory cgroup таким образом, чтобы OOM killer функционировал надлежащим образом и обеспечивал стабильность системы.

Шаг 1: Создание контрольной группы памяти

Первым шагом вам необходимо создать новую cgroup для управления памятью. Это можно сделать с помощью следующих команд:

mkdir /sys/fs/cgroup/memory/test

Шаг 2: Установка лимита памяти

Задайте предел по памяти для вашей cgroup. В вашем случае вы уже установили лимит в 30 ГБ. Это делается с помощью команды:

echo 32212254720 > /sys/fs/cgroup/memory/test/memory.limit_in_bytes

Убедитесь, что вы используете правильный размер, в байтах, который подходит для вашего приложения и системы.

Шаг 3: Включение OOM Killer

Теперь необходимо убедиться, что OOM killer разрешен для вашей cgroup. Для этого проверьте и измените значения в memory.oom_control. Чтобы включить OOM killer, выполните следующую команду:

echo 0 > /sys/fs/cgroup/memory/test/memory.oom_control

Если oom_kill_disable был установлен в 1, OOM killer не будет убивать процессы в этой cgroup, поэтому обязательно установите его в 0.

Шаг 4: Запуск процессов под управлением cgroup

Для запуска ваших процессов под управлением этой контрольной группы используйте команду cgexec:

cgexec -g memory:test <ваша_команда>

Замените <ваша_команда> на команду, которую вы хотите запустить. Это важно для того, чтобы процессы были частью созданной cgroup и подвергались установленным ограничениям.

Шаг 5: Мониторинг состояния cgroup

Вы можете следить за использованием памяти с помощью следующих команд:

cat /sys/fs/cgroup/memory/test/memory.usage_in_bytes
cat /sys/fs/cgroup/memory/test/memory.limit_in_bytes
cat /sys/fs/cgroup/memory/test/memory.oom_control

Если состояние under_oom равно 1, это означает, что ggroup испытывает нехватку памяти. Если состояние oom_kill равно 1, это указывает на то, что OOM killer уже сработал.

Шаг 6: Устранение проблем с зависшими процессами

Если процессы продолжают оставаться в состоянии невызываемого (D) даже при использовании OOM killer, убедитесь, что:

1. Все параметры cgroup настроены правильно.
2. Нет других системных ограничений, которые могут влиять на поведение OOM killer.
3. Учтены другие параметры системы, такие как Swappiness. Если система настроена на чрезмерное использование свопа, это может замедлить работу OOM killer.

Заключение

Настройка memory cgroup с активированным OOM killer требует внимания к деталям и корректной конфигурации. Убедившись, что все параметры установлены правильно и cgroup активно управляет использованием памяти, вы сможете предотвратить системные сбои и улучшить стабильность приложения. Не забывайте периодически проверять использование памяти и состояние контрольных групп для оптимизации рабочего процесса и предотвращения зависания процессов.