Блог

Я настраиваю воздушный поток на использование DebugExcecutor, и во время экспериментов я установил max_active_runs для свойства DAG значение 3. Теперь кажется, что я открыл ящик пандоры. Все мои последующие запуски жалуются, что INFO - max_active_runs limit for dag has been reached - waiting for other dag runs to finish

1. Удаление свойства max_active_runs не исправляет это
2. Установка max_active_runs=-1 не исправляет это
3. Установка max_active_runs=0 не исправляет это
4. Постепенное увеличение количества запусков max_active исправляет это один раз, затем мне нужно постоянно увеличивать его, и в итоге я получаю эту ошибку: SAWarning: Reassigning polymorphic association for identity 'BackfillJob' from <Mapper at 0x10a067e50; BackfillJob> to <Mapper at 0x10a1588e0; BackfillJob>: Check for duplicate use of 'BackfillJob' as value for polymorphic_identity.
5. Разбивание моего ноутбука не исправляет это

Это раздражает. Что происходит? Очевидно, что у меня есть активные задания, которые не завершаются при закрытии сеанса отладки. Как я могу их очистить (программно)?

В конце кода у меня есть это:

 if __name__ == '__main__':
    dag.clear(reset_dag_runs=True)
    min_ago=timezone.utcnow() - timedelta(minutes=1)
    dag.run(start_date=min_ago)
 

Является ли мой подход неправильным? Почему это не было проблемой, пока я не установил аргумент один раз?