#airflow #airflow-scheduler
#airflow #airflow-планировщик
Вопрос:
Добрый день,
мы используем Airflow для организации выполнения наших заданий. Рассматриваемое задание обычно запланировано на 2:30 и занимает довольно много времени. Из-за нового источника данных ожидалось, что он будет работать целый день. Поскольку наши задания не работают параллельно, мы устанавливаем max_active_runs_per_dag равным 1, чтобы гарантировать, что не будет нескольких экземпляров одного и того же задания, даже если оно занимает более 24 часов. В целом это, похоже, работает, но не в этом случае.
Что произошло:
- Мы запустили ручной запуск в 13:00
- в 2:30 (на следующий день) запускается запланированный запуск, который выполняется одновременно
Ожидание:
- Запланированный запуск должен дождаться завершения ручного запуска
Дополнительная информация:
- Экземпляр Airflow не перезапускался.
- Версия Airflow 1.10.2
Я благодарю вас за любой совет.
Ответ №1:
Похоже, это открытая проблема, которая будет исправлена в 2.1 и 1.15. Обходной путь еще не был предоставлен. https://github.com/apache/airflow/issues/9975