#airflow #airflow-scheduler #airflow-2.x
Вопрос:
Недавно мы перешли с Airflow 1 на Airflow 2.1.2, и у нас возникают проблемы с такими спорадическими ошибками, как эта:
airflow.exceptions.SerializedDagNotFound: DAG 'dag_name' not found in serialized_dag table Обычно это происходит после изменения кода dag. Обычно это проходит само по себе через 1-10 минут, хотя иногда это может занять больше времени. Когда это происходит, группа dag не найдена в таблице БД метаданных, и мы получаем ошибку при нажатии на группу dag в пользовательском интерфейсе. Мы запускаем здесь два планировщика, которые, я думаю, могут быть частью проблемы.