Опубликовать статус задания потока данных после завершения в паблике / подразделе Google

#google-cloud-dataflow #apache-beam

#google-облако-поток данных #apache-beam

Вопрос:

В настоящее время я использую шаблон Flex для запуска задания из микросервиса. Я пытаюсь найти лучший способ (чем использование метода опроса заданий) получить статус задания потока данных. В основном пытаюсь опубликовать статус задания потока данных в pubsub самим заданием потока данных после завершения. Может ли кто-нибудь помочь мне с этим?

Ответ №1:

В настоящее время нет способа заставить задание потока данных само отправлять свой статус в паблик / подтему.

Вместо этого вы можете создавать экспорт журналов, чтобы отправлять свои журналы потока данных в раздел / подраздел с фильтрами включения и исключения, а также выполнять поиск текста в сообщениях раздела / Sub, чтобы определить статус вашего задания. Например, вы можете создать фильтр включения dataflow.googleapis.com/job-message" для и среди полученных сообщений одно, содержащее строку типа «Сбой рабочего процесса». относится к завершившемуся сбоем пакетному заданию.