#apache-flink #flink-streaming
#апач-флинк #мерцание-потоковое
Вопрос:
У меня есть задание Flink (Источник -gt; Карта -gt;gt; Приемник), которое протестировало его с 2 различными свойствами на потребителе Кафки.
- Задание потребляет целые сообщения по теме (до сохранения)
setStartFromEarliest()
- Задание потреблять входящие сообщения по теме
В первом сценарии я измерил, что задание может потреблять 5 млн сообщений и погружаться в базу данных в течение 50 минут около 1600 Т / с.
Во втором сценарии кафке удается выдавать сообщения со скоростью около 800 кадров в секунду. Но идентификатор группы потребителей показывает высокую задержку сообщений.
Должна ли моя работа Flink потреблять сообщение с заданной производительностью? (Оба сценария задания имеют один и тот же слот/параллелизм)