#airflow-scheduler #airflow
Вопрос:
Я запускаю сложный поток в apache airflow и использую локальный исполнитель с базой данных postgres. Он работает для выполнения задач, и через некоторое время планировщик отключается. В консоли airlfow не видно никаких журналов
использование воздушного потока — пакель/докер-воздушный поток:1.10.9 развернуто в среде openshift
Ошибка в пользовательском интерфейсе воздушного потока: Похоже, планировщик не запущен. Последнее сердцебиение было получено 3 часа назад. Список DAG может не обновляться, и новые задачи не будут запланированы.
Комментарии:
1. Вы уверены, что правильно настроили базу данных Postgres? Какой у вас тоже набор sql_alchemy_conn?
2. В качестве примечания: KubernetesExecutor будет намного более стабильным, если вы все равно работаете на OpenShift. LocalExecutor действительно не подходит для производственных сред.
3. @Blokje5, postgres настроен правильно. после запуска DAG некоторые задачи выполняются должным образом . После выполнения нескольких тактов планировщик отключается. Я увеличил dag_concurrency, max_threads и все связанные с ними свойства. все еще существует проблема
4. Итак, похоже, что проблема с sqlite-это отвлекающий маневр, не могли бы вы включить журналы планировщика в сообщение?
5. Там должны быть какие-то журналы, вы можете проверить журналы веб-сервера? Можете ли вы также переключиться на CeleryExecutor, так как у вас уже запущен локальный исполнитель. Вы
puckelвсе равно изменили изображение? если да, то будет лучше опубликовать его.