Блог

Главная - Вопросы по программированию - Как датчики воздушного потока sql_sensors интерпретируют пропущенные задачи из отдельных баз данных?

Как датчики воздушного потока sql_sensors интерпретируют пропущенные задачи из отдельных баз данных?

#short-circuiting #airflow

#короткое замыкание #воздушный поток

Вопрос:

Я хочу использовать оператор короткого замыкания в DAG 1, чтобы он пропускал запуск DAG, если данные недоступны в данный день.

У меня есть DAG 2, который запускает DAG 1 и проверяет состояние отдельных задач DAG 1 на этом пути, используя sql_sensors. Эти датчики препятствуют продолжению DAG 2, пока они не распознают, что связанная задача, которую она проверяет в DAG 1, выполнена успешно.

Мой вопрос в том, что если в определенный день в DAG 1 происходит короткое замыкание, а для всех последующих задач установлено значение «пропущено», как sql_sensor в DAG 2 интерпретирует пропущенные задачи? Будет ли это считать их «успешными» и переходить к последующим задачам?

Комментарии:

1.Не могли бы вы уточнить, как вы используете SqlSensor для проверки состояния задач? (вы используете их для опроса SQLAlchemy серверной meta-db Airflow?). Если вы использовали ExternalTaskSensor (обычный способ определения других task ов), он предоставляет allowed_states параметр для настройки желаемого поведения

2. @y2k-shubham да, мы используем sqlsensors, чтобы узнать, была ли строка записана в таблицу аудита, поэтому, к сожалению, я не думаю, что смогу использовать разрешенные состояния с ExternalTaskSensor.