#google-cloud-dataflow #apache-beam
#google-облако-поток данных #apache-beam
Вопрос:
В настоящее время я использую шаблон Flex для запуска задания из микросервиса. Я пытаюсь найти лучший способ (чем использование метода опроса заданий) получить статус задания потока данных. В основном пытаюсь опубликовать статус задания потока данных в pubsub самим заданием потока данных после завершения. Может ли кто-нибудь помочь мне с этим?
Ответ №1:
В настоящее время нет способа заставить задание потока данных само отправлять свой статус в паблик / подтему.
Вместо этого вы можете создавать экспорт журналов, чтобы отправлять свои журналы потока данных в раздел / подраздел с фильтрами включения и исключения, а также выполнять поиск текста в сообщениях раздела / Sub, чтобы определить статус вашего задания. Например, вы можете создать фильтр включения dataflow.googleapis.com/job-message"
для и среди полученных сообщений одно, содержащее строку типа «Сбой рабочего процесса». относится к завершившемуся сбоем пакетному заданию.