Блог

Я запускаю Airflow 1.10.12 на MWAA.Мы запускаем выполнение dag каждые 30 минут/1 час/2 часа в списке активов — теперь у нас есть пара сотен активов, и количество запланированных задач продолжает расти. (Dag обрабатываются успешно, но недостаточно быстро по расписанию?)

Конфигурация воздушного потока MWWA: 5 рабочих mw1.среда, которая запускает экземпляры EKS для выполнения вычислений

Вот метаданные dag, в которых вы можете увидеть, как увеличивается запланированное число:

Количество активных задач с течением времени не кажется сумасшедшим — работники не насыщены. Интересно, есть ли узкое место в dag_concurrency, потому что я думаю (?), что отстающие группы поддержки-это те, у которых много задач (5 задач).

Чего я не понимаю? Есть ли у вас какие-либо рекомендации/ настройки, которые я мог бы внести в свою конфигурацию воздушного потока ? Спасибо