airflow

Вопрос или проблема Я развернул Airflow версии “2.9.3” в кластере Kind, используя официальный последний helm-чарт Airflow. Я настроил PostgreSQL и PgBouncer так, чтобы они использовали шифрование паролей по методу md5.

Вопрос или проблема Здравствуйте, у меня есть случай использования, когда мне нужно выполнить последовательность преобразований над коллекцией данных. Я сгруппировал последовательность преобразований в группе задач, чтобы динамически сопоставить группу

Вопрос или проблема У меня есть dag Airflow с функцией on_failure_callback. Но функция on_failure_callback не запускается при сбое, и я не вижу логов. Вот код моего dag. Все @tasks в этом коде работают, нет необходимости показывать специальную функцию сбоев.

Вопрос или проблема Я использую Airflow 2.10.2. Я определяю DAG, который в основном выполняет 2 задачи. Некоторую основную логику, которая создает кучу файлов Запускает параллельно (порядок не важен) набор ‘рабочих’

Вопрос или проблема В пользовательском интерфейсе Airflow, когда задача помечена как UP_FOR_RETRY, как я могу увидеть время следующей попытки в интерфейсе? Ответ или решение Когда задача в Apache Airflow помечается как UP_FOR_RETRY, это означает, что

Вопрос или проблема Я немного экспериментирую с механизмом уведомлений Airflow, но не могу найти ничего о том, как использовать обратный вызов, когда состояние задач/DAG устанавливается вручную. Я в основном использую DockerOperator.

Вопрос или проблема Моя папка с логами в бакете Composer становится огромной. Согласно документации, в Composer нет встроенного способа ротации логов: https://cloud.google.com/composer/docs/concepts/logs#:~:text=Viewing%20audit%20logs.