Плата за время использования CPU

Вопрос или проблема

Как мне выставлять счета пользователям на основе используемого времени процессора?
Можно ли это сделать в Linux, или мне нужно использовать какую-то существующую систему управления заданиями?

Я нашел только учет процессов и контроль ресурсов systemd, но все еще не знаю, как предотвратить выполнение пользователями команд оболочки, когда они превышают бюджет.

Ответ или решение

Для решения задачи выставления счетов пользователям на основе использованного процессорного времени в среде Linux, а также для ограничения выполнения команд при превышении бюджета, необходимо рассмотреть несколько важных аспектов.

Теория:
Определение и учет процессорного времени пользователей связаны с задачами контроля ресурсов. В Linux существует несколько инструментов, которые могут помочь в реализации этой задачи. Прежде всего, это утилиты для учета, такие как процессный учет (process accounting) и cgroups, а также системы управления заданиями, такие как Slurm или Torque. Одна из ключевых проблем — это не только учет ресурса, но и предотвращение его дальнейшего использования при достижении установленного лимита.

Пример:

Процессный учет (Process Accounting): Это системная функция, которая позволяет отслеживать использование ресурсов процессами. С помощью команды accton вы можете включить учет, а команда sa предоставит статистику использования процессорного времени на каждого пользователя. Однако сам по себе процессный учет не предотвращает дальнейшее использование процессора при превышении лимита. Он служит скорее для ретроспективного анализа и выставления счетов.
Контроль ресурсов с помощью cgroups: Cgroups предоставляет более гибкие возможности управления ресурсами, позволяя ограничивать их в реальном времени. Применяя cgroups, можно задать лимиты для групп процессов, которые соответствуют выделенному бюджету процессорного времени. Чтобы предотвратить выполнение команд, можно настроить скрипты, которые будут следить за превышением лимитов и, например, завершать процессы, выходящие за рамки установленного бюджета.
Системы управления заданиями: Такие системы как Slurm, Torque и другие, позволяют более детально управлять и выставлять счета за использование вычислительных ресурсов. Они предоставляют функции планирования заданий (джобов), мониторинга и ограничения использования времени процессора. Например, в Slurm вы можете использовать функциональность sacct для отслеживания процессорного времени и sbatch для выполнения заданий с задаными лимитами использования ресурсов.

Применение:
Для практической реализации выставления счетов и ограничения ресурсов рекомендуется следующий подход:

Установите и настройте process accounting: Включите системный процессный учет, чтобы отслеживать использование процессорного времени. Настройте регулярные отчеты, которые будут подсчитывать суммарное использование ресурсов каждым пользователем за определённый период. На основе собранной информации можно выставлять счета.
Внедрите cgroups для контроля ресурсов: Создайте контролируемые группы (cgroups) в соответствии с лимитами использования процессорного времени для каждого пользователя. Используйте скрипты, которые будут периодически проверять текущее использование ресурсов. Если пользователь превышает свой лимит, скрипт может автоматически завершить процессы, выходящие за границы cgroups.
Используйте систему управления заданиями: Если ваша среда позволяет, установите Slurm или аналогичную систему управления заданиями. Такие системы не только отслеживают использование ресурсов, но и позволяют отказывать в запуске новых заданий, если текущий лимит пользователя уже исчерпан. Таким образом, процесс выставления счетов совмещается с реальным контролем над использованием ресурсов.
Мониторинг и автоматизация: Организуйте систему мониторинга, которая будет анализировать нагрузки и автоматически изменять лимиты в зависимости от заданных политик. Это позволит быстро реагировать на любые изменения в потребностях ресурса и улучшить распределение ресурсов.

Внедрение такой системы требует определённых затрат времени на настройку и интеграцию всех её компонентов, но это позволит эффективно управлять ресурсами в вычислительной среде и автоматически выставлять счета за их использование. Таким образом, вы обеспечите не только справедливое распределение ресурсов, но и контроль над их использованием, что особенно важно в средах с большим количеством пользователей или в коммерческих вычислительных кластерах.