#apache-kafka #kafka-consumer-api
#apache-kafka #kafka-consumer-api
Вопрос:
Сообщения Kafka, отправленные производителем, продолжают появляться на стороне потребителя через определенный интервал
Я попытался использовать сообщение из моей темы Kafka, в этот раз я столкнулся с проблемой, которую я объяснил выше. Я полагаю, это происходит из-за повторной проверки через 5 минут (что является заданным интервалом опроса по умолчанию). Правильно ли я понимаю?
Мой ожидаемый результат — сообщение не должно обрабатываться снова и снова. Он должен быть обработан только один раз. Как я могу этого добиться?
Комментарии:
1. после опроса сколько времени требуется для обработки этих записей более пяти минут? а также, пожалуйста, предоставьте код
Ответ №1:
Похоже, что ваша конфигурация enable.auto.commit: false и auto.commit.interval.ms : некоторая ценность
Вторая конфигурация приводит к появлению сообщений через некоторый определенный интервал (некоторое значение). Одно и то же сообщение появляется на стороне потребителя для обработки, потому что сообщение не было успешно обработано в первый раз. Если информация о последнем смещении недоступна в zookeeper или broker, а для auto.offset.reset установлено значение наименьшее (или самое раннее), тогда обработка начнется с 0-го смещения. Измените auto.offset.reset на наибольшее (или последнее), если вы не хотите повторно обрабатывать то же сообщение.