#airflow #airflow-scheduler
Вопрос:
Я не понимаю, какая польза в указании DAG start_date в прошлом. Я читал о кетчупе и засыпке, но все равно не понимаю. В каком контексте я хотел бы указать дату начала в прошлом?
Ответ №1:
для запланированного запуска airflow scheduler дождитесь завершения интервала времени, прежде чем запускать DAG.
например, скажите , что вы хотите запускать свою dag ежемесячно и запланировали ее как 0 3 11 * * , что означает запускать вашу dag в 3 часа ночи 11-го числа месяца.
Теперь предположим, что вы развернули свою dag 10 января 2021 года, и вы ожидаете, что она будет запущена на следующий день. Но на самом деле воздушный поток не активирует ваш DAG до следующего месяца, т. е. 11 февраля 2021 года. Таким образом, воздушный поток будет ждать около месяца, прежде чем фактически запустить вашу DAG, которая должна была запуститься 11 января 2021 года.
В этом сценарии, когда вы развертываете свою DAG, вы можете указать start_date ее как 10 декабря 2020 года,чтобы, когда наступит фактический день (11 января 2021 года), планировщик отметит как завершение интервального периода времени и начнет запуск вашей DAG.
для получения дополнительной информации вы можете прочитать : https://www.astronomer.io/guides/scheduling-tasks