#airflow #airflow-scheduler #kubernetespodoperator
Вопрос:
У меня очень странная ошибка с воздушным потоком.
Проблема
У меня есть dag, в котором есть bash operator шаг 1 и KubernetesPodOperator шаг 2. Вопрос заключается в том, что касается KubernetesPodOperator . В принципе, я давал изображение задачи X в течение довольно долгого времени, недавно я изменил изображение, на которое получает задание Y . Проблема, с которой я сталкиваюсь, заключается в TaskInstanceDetails том, что изображение правильное: Y . Однако в отрисованном шаблоне изображение запускается правильно X , однако, как только задача запускается, оно изменяет изображение на Y .
Я знаю, что это очень расплывчато, я не могу предоставить намного больше, но я просто больше ищу возможности того, что может произойти, так как у меня нет идей.
Что я пробовал
- Удаление сериализованных групп Dag из базы данных
- Удалите сведения о выполненной задаче из базы данных
- Сброс дб воздушного потока
- Инициализация бд воздушного потока (после того, как все это было сброшено)
- Удаление узлов EC2 и попытка с новыми
Редактировать
Итак, я попробовал airflow tasks render dag_id task_id execution_date запустить, и результат здесь-изображение X !! Изображение Y накладывается только на прогоны dag.
Ответ №1:
Отвечаю здесь на свой собственный вопрос на случай, если кто-нибудь столкнется с этой проблемой. Очень простое решение… У меня по неосторожности было другое имя изображения для рабочих, с которым нужно было работать в файле kubernetes_pod_template. Изменение этого решило проблему.