Snakemake удаляло правило, застывшее перед выполнением скрипта в кластере PBS.

Содержание

Вопрос или проблема
Ответ или решение
1. Анализ сообщения об ошибке
2. Проблемы с ресурсами
3. Работа Snakemake
4. Задержки в начале выполнения
Рекомендации

Вопрос или проблема

У меня есть snakemake, который задерживается после начала выполнения. У меня есть правила, которые выполняются на кластере (через pbs) и запускают внешний скрипт на Python. Я заметил, что сейчас некоторые из правил задерживаются на очень длительное время перед выполнением скрипта – работа начинается, и snakemake выводит, что она начала выполняться, но затем фактический скрипт запускается только через 2 часа. Таким образом, вывод, который я получаю от работы, выглядит примерно так:

[Вт Окт 15 23:13:13 2024]
правило ...:
    входные данные: ...
    выходные данные: ...
    jobid: 0
    причина: Отсутствуют выходные файлы: ...
    переменные: ...
    ресурсы: mem_mb=1000, mem_mib=954, disk_mb=1000, disk_mib=954, tmpdir=/var/tmp/pbs.<ид работы>.<имя кластера>

2024-10-16 01:21:37.393620 лог из первой строки скрипта
...
2024-10-16 01:21:41.212192 лог из последней строки скрипта (после чтения больших файлов)
Не очищается <временный путь к скрипту>
[Ср Окт 16 01:21:41 2024]
Работа 0 завершена.
1 из 1 шагов (100%) выполнено

Кто-нибудь сталкивался с чем-то подобным? Что может делать snakemake, что может вызвать это? Я генерирую много файлов в рабочем процессе (в этой работе только один), так что это подозрительная причина, но я не совсем понимаю, как это может привести к этому. Кроме того, верхний уровень “all” вызывает множество других правил, и его выполнение занимает ~20 минут, но это не правило, выполняемое здесь. Другие случаи того же правила выполняются нормально.

Это статистика из pbs в какой-то момент во время выполнения работы, за некоторое время до начала выполнения внешнего скрипта:

Id работы: ...
    Название работы = snakejob....
    Владелец работы = ...
    resources_used.cpupercent = 4
    resources_used.cput = 00:00:44
    resources_used.mem = 231660kb
    resources_used.ncpus = 1
    resources_used.vmem = 977976kb
    resources_used.walltime = 00:54:14

Потребление памяти кажется чрезмерным, я не уверен? Есть ли что-то, что snakemake делает при запуске, что может использовать так много памяти (в экстремальных условиях, какими бы они ни были)?

Ответ или решение

Ваша проблема с остановкой Snakemake на кластере PBS, когда задачи начинают выполняться, но внешние скрипты запускаются с задержкой, может быть вызвана несколькими факторами. Давайте разберемся в потенциальных причинах и возможных решениях.

1. Анализ сообщения об ошибке

В приведенном вами логе Snakemake указано, что правило не может завершить выполнение из-за отсутствия выходных файлов. Это может происходить по нескольким причинам:

Длительное время загрузки данных: Если ваше правило обрабатывает большие объемы данных или имеет долгие этапы чтения, это может привести к задержкам.
Неправильный указатель на выходные файлы: Убедитесь, что выходные файлы правильно указаны в правилах Snakemake и что нет задержек в их создании.

2. Проблемы с ресурсами

Согласно вашей информации, используемая память составляет 231660 кБ, что может быть относительно высоким для некоторых задач. Проверьте:

Ограничения по ресурсам: Убедитесь, что ваша задача не превышает заданные лимиты на память и процессор, указанные в PBS. Возможно, вам нужно скорректировать заданные ресурсы, чтобы избежать ситуации, когда система автоматически ставит задачи в очередь из-за недостатка ресурсов.
Конфигурация PBS: Возможно, PBS имеет ограничения по количеству одновременно работающих заданий. Посмотрите на настройки кластера и убедитесь, что в вашей очереди достаточно ресурсов для выполнения всех заданий.

3. Работа Snakemake

Snakemake, как правило, создает временные файлы и кэши, когда вы запускаете сложные потоки данных. Это может занимать время, особенно если:

Система перегружена: Если другие задачи используют значительные ресурсы, это может повлиять на скорость работы Snakemake.
Проблемы с IO: Если ваша задача зависит от большого количества операций ввода-вывода, это может привести к замедлению.

4. Задержки в начале выполнения

Вы упомянули, что некоторые правила выполняются нормально, в то время как другие – с задержками. Это может указывать на:

Сетевые или файловые проблемы: Если ваши входные файлы находятся на удаленных ресурсах, задержки могут быть связаны с сетью или доступом к файлам.
Индивидуальные особенности задач: Возможно, конкретные входные данные или параметры задачи могут влиять на время выполнения.