#amazon-s3 #airflow
#amazon-s3 #воздушный поток
Вопрос:
У меня есть два разных кластера воздушного потока, в основном мне нужно запустить DAG, который работает в другом кластере.
Можно ли это сделать с TriggerDagRunOperator помощью ? или для этого можно использовать какие-либо датчики?
Я нахожу эту ссылку полезной, но работает ли она на нескольких кластерах?
https://www.linkedin.com/pulse/airflow-lesson-1-triggerdagrunoperator-siddharth-anand
Комментарии:
1. Под кластером вы подразумеваете несколько экземпляров Airflow? Если да, то как насчет использования API для запуска DAG из экземпляра Airflow в другой экземпляр Airflow? Используя TriggerDagRunOperator, я не думаю, что это сработает.
2. @nicor88: для этих экземпляров Airflow используются две разные среды AWS, я думал использовать для этого Lambda, но почему-то это не было одобрено.. итак, ищите другие варианты..
3. Посмотрите на это: airflow.apache.org/api.html может быть, это один из вариантов.