#airflow #google-cloud-composer
#воздушный поток #google-cloud-composer
Вопрос:
У меня есть подзаголовок, который использует оператор датчика, который содержит soft_fail=true , чтобы пропустить, а не провалить задачу.
Это работает хорошо, за исключением того, что статус всего вложенного файла отображается как «успешно» вместо «пропущено», что может ввести в заблуждение при мониторинге потока, поскольку я не знаю, был ли файл найден или просто пропущен. Есть мысли о том, как сделать так, чтобы статус подзаголовка наследовал статус подзадач?
Ответ №1:
Статус «пропущено» не является сбоем, хотя вы просили не выполнять задачу, и это было сделано именно так. Также подумайте о том, что было бы наоборот, если бы пользователь был удивлен, что его запуск не удался только потому, что Airflow сделал, как они просили, и пропустил все задачи.
Эта проблема, касающаяся пропущенного статуса, была рассмотрена ранее. Например, об этом сообщалось в версии 1.8.0 и исправлено в версии 1.8.1, но в более поздних версиях это исправление не распространялось.
Вы можете открыть проблему и запросить изменение, выбрав ссылку в новом выпуске в трех точках этой ссылки.
Комментарии:
1. О, я не хочу, чтобы это было «сбой», я хочу, чтобы это было «пропущено»
2. Но не был пропущен запуск , только задачи. По крайней мере, такова логика, которая написана здесь: github.com/apache/airflow/blob/master/airflow/models / … — вы могли бы открыть проблему и запросить изменение, я мог бы увидеть аргумент в пользу этого.