#airflow #airflow-scheduler #airflow-2.x
#воздушный поток #воздушный поток-планировщик #воздушный поток-2.x
Вопрос:
У меня есть задача, Airflow 2.1.2 которая завершается со статусом «успешно», но после этого в журнале отображается sigterm:
[2021-12-07 06:11:45,031] {python.py:151} INFO - Done. Returned value was: None [2021-12-07 06:11:45,224] {taskinstance.py:1204} INFO - Marking task as SUCCESS. dag_id=DAG_ID, task_id=TASK_ID, execution_date=20211207T050000, start_date=20211207T061119, end_date=20211207T061145 [2021-12-07 06:11:45,308] {local_task_job.py:197} WARNING - State of this instance has been externally set to success. Terminating instance. [2021-12-07 06:11:45,309] {taskinstance.py:1265} INFO - 0 downstream tasks scheduled from follow-on schedule check [2021-12-07 06:11:45,310] {process_utils.py:100} INFO - Sending Signals.SIGTERM to GPID 6666 [2021-12-07 06:11:45,310] {taskinstance.py:1284} ERROR - Received SIGTERM. Terminating subprocesses. [2021-12-07 06:11:45,362] {process_utils.py:66} INFO - Process psutil.Process(pid=6666, status='terminated', exitcode=1, started='06:11:19') (6666) terminated with exit code 1 Как вы можете видеть , возвращается первая строка Done , и предыдущие строки этого журнала показали, что все сценарии работали нормально и данные были вставлены в Datawarehouse .
В строке номер 8 это показано SIGTERM из-за какого-то внешнего триггера , отмечающего его как успех, но я уверен, что никто не использовал API его или CLI не отмечал его как успех ни тот UI , ни другой . Есть идеи, как этого избежать и почему это может произойти?
Я не знаю, может быть, увеличение AIRFLOW_CORE_KILLED_TASK_CLEANUP_TIME могло бы это исправить, но я хотел бы это понять.