Оптимизация производительности дисковых операций ввода-вывода в Linux: передовые техники для высокой пропускной способности и низкой задержки

В настоящее время я работаю на сервере на базе Linux с высокими требованиями к дисковым операциям ввода-вывода, и ищу продвинутые стратегии для тонкой настройки системы для оптимальной производительности. Хотя я уже реализовал основные оптимизации, я ищу идеи для более глубоких и специализированных техник.

Конкретно, я хотел бы знать:

• Какие продвинутые конфигурации и параметры настройки ядра могут значительно улучшить производительность дисковых операций ввода-вывода на Linux? Как я могу использовать такие функции, как планировщик I/O, настройка файловой системы и параметры блочного устройства?

• Существуют ли специализированные файловые системы или решения для хранения данных, которые превосходят в условиях высокой интенсивности операций ввода-вывода, и какие соображения следует учитывать при их выборе или настройке?

• Как я могу эффективно мониторить и анализировать производительность дисковых операций ввода-вывода для выявления узких мест или областей, требующих улучшения? Есть ли конкретные инструменты или утилиты, которые предоставляют глубокое понимание операций ввода-вывода?

• Какие продвинутые стратегии кэширования и буферизации можно внедрить для уменьшения задержки дисковых операций ввода-вывода и увеличения пропускной способности, особенно для часто используемых данных?

• Существуют ли лучшие практики для оптимизации приложений или рабочих нагрузок, ограниченных I/O, таких как базы данных или веб-серверы с высокой пропускной способностью, чтобы максимально использовать доступные дисковые ресурсы?

В Redhat существует tuned. И начиная с RHEL 7.9 команда tuned-adm list показывает

Доступные профили:
- atomic-guest                - Оптимизирует виртуальные машины на основе варианта Atomic
- atomic-host                 - Оптимизирует системы на физических серверах, работающие на базе варианта Atomic
- balanced                    - Общий не специализированный профиль настройки
- cpu-partitioning            - Оптимизирует для разделения CPU
- default                     - Устаревший профиль по умолчанию
- desktop                     - Оптимизирует для настольных приложений
- desktop-powersave           - Оптимизирует для настольных приложений с экономией энергии
- enterprise-storage          - Устаревший профиль для RHEL6, для RHEL7, пожалуйста, используйте профиль throughput-performance
- hpc-compute                 - Оптимизирует для вычислительных нагрузок HPC
- laptop-ac-powersave         - Оптимизирует для ноутбуков с экономией энергии
- laptop-battery-powersave    - Оптимизирует профиль ноутбука с более агрессивной экономией энергии
- latency-performance         - Оптимизирует для детерминированной производительности с увеличенным энергопотреблением
- mssql                       - Оптимизирует для MS SQL Server
- network-latency             - Оптимизирует для детерминированной производительности с увеличенным энергопотреблением, ориентировано на низкую задержку сети
- network-throughput          - Оптимизирует для потоковой передачи сети, обычно необходимо только на старых процессорах или сетях 40G+
- oracle                      - Оптимизирует для Oracle RDBMS
- powersave                   - Оптимизирует для низкого энергопотребления
- server-powersave            - Оптимизирует сбережение энергии для серверов
- spindown-disk               - Оптимизирует для экономии энергии путем остановки вращения дисков
- throughput-performance      - Широко применимая настройка, которая обеспечивает отличную производительность для разнообразных общих серверных нагрузок
- virtual-guest               - Оптимизирует для работы в виртуальной машине
- virtual-host                - Оптимизирует для работы с гостевыми KVM

Я бы изучил tuned в отношении того, что они делают с профилями, такими как enterprise storage, а также любыми другими, которые кажутся актуальными. Вы не захотите, чтобы такие вещи делались профилем spindown-disk… Я так думаю… или любым другим видом экономии энергии.

Если у вас нет ввода-вывода, превышающего объем оперативной памяти системы, 768 Гб является нормой для четырехсокетных высокопроизводительных серверов и около 128 Гб для не слишком дорогих рабочих станций, оптимальным способом это делать будет создание tmpfs, смонтированного как папка /data, чтобы вы могли читать/записывать напрямую в [DDR4 или DDR5] RAM, и затем соответствующим образом управлять этим местоположением временных данных. Это будет сделать в /etc/fstab что-то вроде tmpfs /data tmpfs defaults,size=512G 0 0. Я бы не назвал это продвинутой стратегией буферизации, но использование исключительно ОЗУ вместо диска на скоростях SATA/SAS 6 Gbit/s или 12 Gbit/s будет на порядки быстрее, а также это то, что, как я думаю, вам не нужно настраивать Linux, кроме как просто изменить профиль энергии на latency-performane вместо powersave.

Также я думаю, многие из ваших вопросов больше связаны с выбором оптимального оборудования, чем с настройкой Linux. Операционная система Linux изначально кэширует диск и делает именно то, что я упомянул выше с tmpfs, в том смысле, что она будет работать по возможности в оперативной памяти до необходимости записи/очистки на реальный диск. Это просто говоря, если вы хотите лучшую производительность, увеличьте объем оперативной памяти – если вы используете только 8 или 16 Гб на ПК, то обновите её до 64 Гб или выше; аналогично с серверами, если объем < 128 Гб, то увеличьте до 768 Гб или больше, вместе с самыми быстрыми поддерживаемыми тактами RAM DIMM.

Здесь есть хорошая статья:
Advanced Tips to Improve Disk IO Performance in Linux 1