Блог

У меня немного сложная настройка: я запускаю свои конвейеры Airflow (v1.10.13) по местному времени (настройка в часовом поясе виртуальной машины). Следующий DAG был отмечен для запуска в понедельник как успешный, но задача внутри никогда не была запланирована (таким образом, не было никаких журналов вообще). В прошлом у меня были некоторые проблемы с планировщиком воздушного потока и использованием часовых поясов, отличных от UTC, поэтому мне интересно, может ли это быть другой причиной?

 from airflow import DAG
from datetime import timedelta
from somewhere import get_localized_yesterday
import prepered_tasks as t

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': get_localized_yesterday(),
    'email': [],
    'email_on_failure': True,
    'email_on_retry': False,
    'retry_delay': timedelta(minutes=1)
}

# Schedule the DAG daily at 2 a.m.
dag = DAG(
    'descriptive_DAG_name',
    default_args=default_args,
    description='',
    schedule_interval='0 2 * * Mon-Fri',
    tags=['PROD']
)
single_task = t.task_partial(dag=dag)
single_task
 

‘task_partial’ — это объект задачи, встроенный в частичный, поэтому мне нужно только предоставить dag для создания экземпляра. Это работает так, как задумано в других конвейерах, которые работают должным образом.

Я проверил обычных подозреваемых:

• Планировщик запущен.
• Рабочие запущены.
• DAG включен в пользовательском интерфейсе.
• Другие конвейеры работают нормально.
• Нет зависимостей от предыдущих запусков.
• Дата начала осталась далеко в прошлом.

В воздушном потоке 1.10.13 была ошибка, и выпуск был прерван.

Вам следует обновиться до 1.10.14.

Посмотрите Проблему и исправление.

Цитата из проблемы:

После выполнения обновления до версии v1.10.13 мы заметили, что задачи в некоторых наших базах данных не были запланированы. После небольшого расследования мы обнаружили, что, прокомментировав ‘depends_on_past’: True, проблема исчезла.