#apache-flink #flink-streaming #data-processing #flink-batch
#apache-flink #flink-потоковая передача #обработка данных #flink-batch
Вопрос:
В настоящее время у меня есть потоковое задание, которое запускает пакетное задание при получении определенного триггера.
Я хочу следить за этим запущенным пакетным заданием и, когда оно завершится, хочу вставить запись в базу данных, например, elastic search или около того.
Есть идеи, как мы можем этого добиться? Как мы можем прослушать это задание?
Ответ №1:
FLINK предоставляет некоторые REST API для запроса статуса задания, вы можете использовать этот для запроса состояния пакетного задания: https://ci.apache.org/projects/flink/flink-docs-release-1.12/ops/rest_api.html#jobs-jobid . Во время выполнения задач их статус будет сообщаться JM. С помощью этого API вы можете получить состояние задания на основе ответа на запрос.