airflow-taskflow

Вопрос или проблема Здравствуйте, у меня есть случай использования, когда мне нужно выполнить последовательность преобразований над коллекцией данных. Я сгруппировал последовательность преобразований в группе задач, чтобы динамически сопоставить группу

Вопрос или проблема Я использую Airflow 2.10.2. Я определяю DAG, который в основном выполняет 2 задачи. Некоторую основную логику, которая создает кучу файлов Запускает параллельно (порядок не важен) набор ‘рабочих’