#python-3.x #azure-data-factory #pipeline #azure-databricks
#python-3.x #azure-фабрика данных #трубопровод #azure-базы данных
Вопрос:
У меня есть конвейер ADF, в котором около 30 действий вызывают записные книжки Databricks. Действия организованы последовательно, то есть одно выполняется только после успешного завершения другого.
Однако иногда, даже при возникновении ошибки во время выполнения с конкретным блокнотом, действие, вызывающее блокнот, не завершается неудачно, и запускается следующее действие. В идеале этого не должно произойти.
Поэтому я хочу дополнительно проверить состояние связи между действиями. Я планирую поставить условие о статусе команд, выполняемых в записной книжке (представьте, что в записной книжке 10 команд python, я хочу зафиксировать статус 10-й команды).
Есть ли способ настроить это? Цените идеи. Спасибо.
Комментарии:
1. если есть исключение из выполнения команды, то это должно привести к сбою задания databrics
Ответ №1:
Я попытался с моей стороны — Когда в коде было исключение — я увидел вывод ошибки в выводе действия. Но в моем случае активность не удалась, как упоминал @Alex.
В вашем случае вы можете проверить вывод действия и посмотреть, есть ли какая-либо ошибка выполнения. Если ошибка запуска отсутствует, перейдите к следующему действию.
@activity('Notebook2').output.runError