Блог

Сначала мне нужна функция Bigquery sql для проверки целых таблиц в моем наборе данных на наличие любых нулевых значений.

Во-вторых, основываясь на результатах (найдены нулевые значения или нет), мне нужно выполнить зависимые таблицы нисходящего потока, используя планировщик воздушного потока.

Это условие: если в таблице обнаружены какие-либо нулевые значения, последующая таблица, которая зависит от таблицы, имеющей нулевые значения, должна прекратить выполнение через планировщик воздушного потока.

Я не уверен, есть ли у нас какие-либо функции как таковые в Bigquery для сканирования целых таблиц в dataset..

Но для 2.) Мы можем установить правило запуска и соответственно настроить зависимость задачи в airflow, чтобы пропускать последующие задачи при обнаружении нулевых значений. И вы можете остановить dag, вы также можете сохранять оповещение по электронной почте, даже не выполнив задачу, даже если найдено значение null.

https://airflow.apache.org/docs/1.10.2/concepts.html ?выделить=триггер#триггер-правила