Flink metrics — количество записей, подсчитанных в интервале метрик

#apache-flink #flink-streaming

#apache-flink #flink-потоковая передача

Вопрос:

Мы используем Flink версии 1.9.1. Мы хотели бы получить количество записей, обработанных конкретной подзадачей за определенный период. Количество выпущенных записей показывает общее количество выпущенных записей до этого момента. Есть ли способ получить общее количество записей, обработанных в пределах этого интервала метрик.

Ответ №1:

Flink также регистрирует метрику с именем numRecordsOutPerSecond , которая представляет собой частоту созданных записей. Интегрируя это значение по любому интервалу, вы сможете получить показатель за этот интервал.

Ответ №2:

Flink предоставляет репортеры метрик для нескольких популярных систем метрик, таких как Prometheus и InfluxDB, которые предоставляют мощные механизмы запросов для вычисления всех видов агрегированной статистики на основе показателей, которые они получают от Flink.