Блог

Я создал DAG, который работает без проблем с последовательным исполнителем и локальным исполнителем. Но, когда я пытаюсь запустить dag с catchup=True, я не могу запустить более 5 экземпляров этой dag параллельно. Я увеличил параллелизм в файле airflow.cgf до 300, а параллелизм и max_active_runs до 100 в моем определении dag, но все равно я получаю максимум 5 параллельных запусков. Кроме того, когда эти 5 запусков dag завершены, следующие 5 запусков не запускаются. В идеале я хотел бы запускать X экземпляров одной и той же dag в день (по 1 экземпляру на каждый день, который мне нужно наверстать). Какая-нибудь помощь?