#python #airflow
Вопрос:
Я пытаюсь разработать рабочий процесс в airflow, где airflow прослушивает каждый раз, когда новые данные отправляются в базу данных, и запускает dag. В моем dag есть две службы: более быстрая и очень медленная. медленная служба также имеет плохой параллелизм.
в связи с этим я хочу поставить в очередь свои базы заданий на основе фрагментов данных из БД и дождаться завершения одного задания, прежде чем запускать ту же самую группу dag для другого задания.
Итак, допустим, я получаю 1000 записей в Бд и хочу создать 10 заданий с размером пакета по 100 в каждом. Затем последовательно запускайте их один за другим.
Каковы наилучшие способы сделать это в потоке воздуха?