Блог

Главная - Вопросы по программированию - Изменения в триггердагруноператоре воздушного потока

Изменения в триггердагруноператоре воздушного потока

#airflow

#воздушный поток

Вопрос:

Проект Apache Airflow, по-видимому, заставил TriggerDagRunOperator conf разрешить только JSON. Это отличается от того, как это было ранее, когда мне разрешалось передавать экземпляры класса без какой-либо специальной обработки.

https://github.com/apache/airflow/blob/master/airflow/operators/dagrun_operator.py#L94

https://github.com/apache/airflow/blob/master/airflow/api/common/experimental/trigger_dag.py#L65

Это 2 фрагмента, которые обеспечивают выполнение этого.

Кто-нибудь также сталкивался с этой проблемой? Если да, то как вы обходите это ограничение?

В настоящее время я обхожу эту проблему, создавая пользовательский оператор на основе оператора до этих изменений.

Комментарии:

1. Указанная строка в TriggerDagRunOperator была изменена еще в мае 2018 года. Хотя на любой ранней стадии (недавно вышедшей из фазы инкубации ), подобной Airflow , такие критические изменения являются обычным явлением, но в этом случае действительно кажется, что это изменение прошло незамеченным (возможно, даже непреднамеренным), потому что рассматриваемая фиксация предназначалась для решения чего-то другого