Триггер базы данных airflow на основе вставки таблицы Azure SQL

#mysql #azure #triggers #airflow

#mysql #azure #триггеры #воздушный поток

Вопрос:

У кого-нибудь был сценарий для запуска базы данных базы данных airflow на основе триггера insert в таблице в базе данных sql Azure? Я использую приложения logic для обновления записи в базе данных sql, но не смог найти много документов наоборот, большое спасибо

Ответ №1:

Вы могли бы попробовать использовать SQLSensor :

Выполняет инструкцию sql повторно, пока не будут выполнены критерии. Он будет продолжать попытки до тех пор, пока не будут выполнены критерии успеха или сбоя, или если первая ячейка отсутствует (0, ‘0’, «, None).

Но это не совсем соответствует вашей цели, вместо запуска запуска DAG выполнение DAG скорее откладывается до тех пор, пока не будут выполнены критерии.

Другим вариантом является использование экспериментального REST API Airflows:

POST /api/experimental/dag/<DAG_ID>/dag_runs

Создает dag_run для заданного идентификатора базы данных.

Комментарии:

1. Спасибо за быстрый ответ, да, я хотел что-то, чтобы динамически запускать базы данных по мере обновления базы данных Azure SQL DB, я наткнулся на post-вызов airflow rest post, но думаю, что мне может понадобиться прослушиватель в базе данных Azure SQL для прослушивания изменений в этой таблице и запускакоманда airflow post