Блог

Просто интересно, можно ли повторно использовать потребителя в скрипте python при его запуске?

Я использую heroku kafka для потоковой передачи данных и имею скрипт на python, который использует библиотеку kafka-python для подключения к брокеру. При запуске скрипта будет создана новая группа потребителей. Однако Heroku перезапускает мой скрипт не реже одного раза в день, и я не могу остановить перезапуск. Поэтому при каждом перезапуске скрипта создается новый потребитель, и у меня возникают проблемы с перебалансировкой.

Просто интересно, как в скрипте я могу использовать старого существующего потребителя для использования данных из темы?

Любая помощь приветствуется. Большое спасибо.

Вы можете создать группу потребителей раньше и передать ее в сценарий при создании нового потребителя.Если вы передаете имя группы потребителей всякий раз, когда вы создаете потребителя, Apache не будет создавать новую группу потребителей. смотрите Следующий код для передачи сведений о группе потребителей с помощью оболочки

 ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topicName --group [consumer group name]