Ошибка выделения памяти в nginx с большим количеством перенаправлений.

Я столкнулся с ошибкой выделения памяти в nginx. Я настроил обратный прокси для нескольких сайтов на моем nginx, который использую как простой балансировщик нагрузки между двумя узловыми серверами. Типичная конфигурация для сайта выглядит следующим образом:

upstream backend  {
  ip_hash;
  server <node-ip>;
  server <another-node-ip>;
}

server {
  server_name domain.subdomain.com;    

  # ОГРОМНАЯ куча правил перенаправления 
  include /etc/nginx/sites-available/root;

  location / {

    proxy_pass  http://backend  ;

    proxy_http_version 1.1;
    proxy_set_header Upgrade $http_upgrade;
    proxy_set_header Connection 'upgrade';
    proxy_set_header Host $host;
    proxy_cache_bypass $http_upgrade;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
  }
}

У меня 12 сайтов с конфигурацией, подобной вышеуказанной. Как вы видите, конфигурация содержит include другого файла – sites-available/root. Этот файл состоит из многих директив include для других файлов:

include /etc/nginx/sites-available/rules1;
include /etc/nginx/sites-available/rules2;
include /etc/nginx/sites-available/rules3;
...
include /etc/nginx/sites-available/rules16;

Каждый файл правил содержит множество правил перенаправления, например:

if ($request_uri ~* ^/some-url$) {
  return 302 /some-another-url/;
}

или

location ~ some-url {
  return 302 "some-another-url";
}

Общее количество правил перенаправления составляет около 2300. Я включил файл root в конфигурации всех 12 сайтов. После этого время от времени я получаю информационное сообщение в /var/log/nginx/error.log:

[info] 23721#23721: Используется 32768KiB общей памяти для push модуля в /etc/nginx/nginx.conf:66

Основная проблема заключается в том, что иногда команда service nginx reload завершается с ошибками в журнале:

[alert] 22164#22164: fork() не удался при создании “worker process” (12: Невозможно выделить память)
2018/10/09 03:10:06

[alert] 22164#22164: sendmsg() не удался (9: Неверный дескриптор файла)

Проблема исчезает, если я исключу правила перенаправления из конфигурации. Nginx настроен на простой экземпляр AWS t2.small с Ubuntu 16.04. У него 1 ГБ ОЗУ, и я вижу (с помощью free -m), что, по крайней мере, половина памяти свободна. У меня стандартный nginx.conf. Так что вопрос в том, как избежать ошибки cannot allocate memory, которая вызвана огромным количеством правил перенаправления?

Этот вопрос изначально был опубликован здесь. Я подумал, что кто-то здесь может знать ответ. Извините за дублирование.

Разделите файл на более мелкие части, если он большой. У меня был файл размером 1.8 МБ с около 20 000 перенаправлений, который экземпляр с низким объемом памяти не мог обработать и выдал ошибку, которую вы получили. Я исправил это следующим образом:

mkdir /etc/nginx/conf.d/redirects
split -l 1000 redirect_file redirect_folder/

… а затем просто включил папку в конфигурацию сервера, например:

server {
    listen 127.0.0.1:80
    ...
    include conf.d/redirects/*;
    ...
}

Nginx затем загружается нормально. Я лишь догадываюсь, но у меня такое предположение, что nginx освобождает память, используемую для чтения файла, как только он его загрузил, и при наличии многих мелких файлов потребление памяти значительно ниже, чем при загрузке одного большого. Но, как я уже сказал, это чисто предположение, я могу ошибаться.