Вопрос или проблема
Мне нужна помощь, чтобы выяснить, почему нагрузка на мой сервер растет ровно в :00 каждого часа с 00:00 1 января 2025Z.
У меня 16-ядерный сервер VPS с 32 ГБ на godaddy.com, работающий на Ubuntu 20.04.6 LTS, который обслуживает запросы от примерно 10 тысяч IoT устройств. Эти устройства преднамеренно распределяют свои запросы, чтобы равномерно распределять нагрузку на сервер во времени. Обработка каждого запроса занимает около 200 мс. Средняя нагрузка на сервер составляет около 10, но начиная с начала этого года в начале каждого часа она подскакивает до 40+ и быстро возвращается обратно.
- Графики средней нагрузки и давления на ЦП показывают этот скачок.
- Графики использования памяти, tcpdump и iostat НЕ показывают этот скачок.
- Проверка журналов из journalctl и apache НЕ показывают увеличения активности процессов во время скачка.
Любые идеи о том, что еще можно исследовать, будут очень полезны.
если вы установите pidstat из пакета sysstat (apt install sysstat), следующий код будет записывать использование ЦП с высокой скоростью и может быть настроен еще быстрее при необходимости. Я бы запускал его за несколько секунд до :00 и после.
Получившийся лог должен лучше показать ситуацию с более тонкими срезами использования ЦП, чем вы можете получить только от top.
while true; do
pidstat -h -u -p ALL -t >> cpu_log.txt
sleep 0.1
done
man pidstat чтобы получить объяснение используемых опций, если вы с ними не знакомы.
Ответ или решение
Определение причины периодических всплесков нагрузки на сервер требует тщательного анализа множества возможных факторов. Ваш сервер используется для обработки запросов от примерно 10 тысяч IoT-устройств и наблюдается резкое увеличение нагрузки в начале каждого часа. Рассмотрим теоретическую основу, примеры, потенциальные методы расследования и практическую реализацию для анализа ситуации.
Теория
Серверные нагрузки могут возникать по ряду причин — от запланированных задач до программных ошибок или изменений в конфигурации. В вашем случае, ситуация с регулярными всплесками нагрузки на сервер может быть связана с каким-либо запущенным процессом или задачей, выполняемой в системе каждый час. Важно изучить потенциальные причины, такие как:
- Запланированные задачи (CRON): Проверьте, нет ли запланированных задач, которые выполняются каждый час. Это наиболее очевидный источник проблемы.
- Обновления и резервное копирование: Некоторые системы выполняют резервное копирование или проверку обновлений в определенные моменты времени.
- Конфигурации серверного ПО: Проверьте, не установлено ли ПО или службы, выполняющие операции по расписанию.
- Сетевое взаимодействие: Убедитесь, что внешние взаимодействия не инициируют увеличенную нагрузку.
- Скрипты и программы управления ресурсами: Возможно, вспомогательные утилиты или скрипты создают пиковую активность.
Пример
Реальный пример может включать ситуацию, когда системные администраторы настроили CRON-задачу выполнения резервного копирования каждые 60 минут, что оставалось незамеченным до возникновения претензий по производительности.
Применение и методы анализа
1. Проверка CRON задач
Запустите crontab -l и просмотрите запланированные задачи. Также проверьте задачи системного cron-демона в /etc/cron.hourly, /etc/crontab и других соответствующих каталогах. Анализируя, обращайте внимание на задачи, которые могут запускаться каждый час.
2. Мониторинг и журналирование
Используйте pidstat из пакета sysstat для мониторинга процессорной активности более детально. Это позволит отследить, какие именно процессы работают в момент всплеска нагрузки.
while true; do
pidstat -h -u -p ALL -t >> cpu_log.txt
sleep 0.1
done3. Анализ использования CPU и I/O
Хотя изначальный анализ с помощью iostat не показал роста активности, уточненное использование pidstat может выявить процессы, потребляющие ресурсы.
4. Журналы и логирование
Осмотрите журналы системы: /var/log/syslog, дополнительные логи Apache и другие службы, которые могли не быть покрыты изначальным анализом.
5. Изучение сценария работы приложений
Определите, нет ли особенностей в самих IoT-приложениях, которые, возможно, инициализируют групповые подключения или обработки в начале часа, несмотря на распределённость индивидуальных запросов.
6. Сетевой анализ
Проведите детальный анализ сетевого трафика с помощью инструментов вроде tcpdump. Пиковая активность может быть связана с сетевыми запросами, что иногда пропускается при общем мониторинге нагрузки.
Заключение
Обнаружение и устранение источника всплесков нагрузки на сервер требует систематического подхода и может включать проверку неочевидных компонентов системы и конфигураций. Важно использовать достаточно детализированные инструменты мониторинга и анализировать как системные, так и прикладные аспекты работы серверной инфраструктуры. Воспользуйтесь вышеизложенными советами для детального расследования и решите проблему избыточной нагрузки, сохраняя высокую производительность и стабильность работы вашей системы.