#airflow #airflow-scheduler #mwaa
Вопрос:
Как опросить dag воздушного потока для запуска каждые 30 минут в промежутке от 1 до 3, только если задача не завершена?
Я попробовал это с синтаксисом cron, и он выполнялся несколько раз в промежутке 1-3, даже если задача была выполнена успешно. (0,30 1-3 * * *)
Как настроить его так, чтобы он запускался только один раз, если найдет файл? В противном случае он должен продолжать опрос, пока не найдет файл
Комментарии:
1. Пожалуйста, посмотрите на датчики воздушного потока. В частности, вам нужно посмотреть на датчик файлов. Предполагая, что вы используете серию 2.x, эта ссылка — хорошее место для начала- airflow.apache.org/docs/apache-airflow/stable/concepts/…