#apache-kafka
#apache-kafka
Вопрос:
Мне трудно понять разницу между временем события и временем обработки в Apache Kafka.
Например, Apache Flink работает с водяными знаками, и время не синхронизируется с ходом реального времени настенных часов, пока вы не создадите водяной знак. Только после этого время прогрессирует (надеюсь, я прав).
Я знаю, что Kafka не использует водяные знаки. Я прочитал документацию, но не могу найти никакой информации о времени обработки в Kafka, кроме отметки событий с указанием времени события, когда оно происходит, или времени обработки события. Являются ли эти понятия только на концептуальном уровне в обработке событий Kafka?
Комментарии:
1. событие: при создании; обработка: при выполнении действия … У брокера также есть настройки для изменения того, какая временная метка фактически записывается на диск (создание события или добавление журнала)
2. Я знаю разницу, но я не знаю, как ведет себя Kafka, когда вы меняете семантику обработки времени.
3. Сами брокеры просто хранят временную метку. У KStreams есть TimestampExtractor, который можно использовать для обработки окон и других рабочих нагрузок, аналогичных Flink, если вы это имеете в виду