google-cloud-dataflow

Вопрос или проблема У меня есть dataflow в GCP окружениях с следующей настройкой – dataflow_project – где выполняется dataflow data_project – где хранятся данные billing_project – где должен быть выставлен счет за выборку BQ В

Вопрос или проблема Я использую Google Composer для оркестрации своих заданий и создал DAG с использованием BeamRunPythonPipelineOperator, который создаст задание в Google Dataflow. Когда я создаю DAG с двумя задачами параллельно, всё работает хорошо