Блог

Мы используем Cloud Composer (он же. Воздушный поток) на данный момент. Недавно мы обновились до последней версии composer-1.16.5-airflow-1.10.15 . С тех пор, как мы столкнулись с некоторыми проблемами, связанными с так называемыми задачами зомби.

Задачи зомби, похоже, возникают, если воздушный поток думает, что задача мертва, поэтому убивает ее. Решение о том, почему задача считается мертвой, окружает сердцебиение задачи, некоторые zombie_threshold и, конечно, рабочие ресурсы.

Обычно примерно через 250 секунд после запуска задачи она уничтожается воздушным потоком, помечая ее как задачу зомби. Но это происходит не со всеми задачами, а только с некоторыми из них.

Наша задача обычно заключается в запуске некоторого задания потока данных/потока данных, поэтому на самом деле у работника нет большой рабочей нагрузки. На самом деле GCP говорит мне, что я должен понизить рейтинг работников, чтобы сэкономить затраты, поскольку они мало что делают. Так что, похоже, это не проблема.

То, что я попытался тогда, — это установить эти конфигурации:

 core-store_dag_code                       = "False"
core-dagbag_import_timeout                = "180"
core-dag_file_processor_timeout           = "180"
scheduler-job_heartbeat_sec               = "5"
scheduler-scheduler_heartbeat_sec         = "5"
scheduler-scheduler_zombie_task_threshold = "600"
 

Ни одна из этих настроек, похоже, не имеет никакого эффекта.

Кто-нибудь знает об этой проблеме или имеет представление о том, что может помочь?