Блог

Я столкнулся с проблемой с моим приложением на основе KStreams: оно запускается один раз, и когда я останавливаю / перезапускаю, оно «застревает» и больше не будет развиваться, пока я не удалю различные созданные им разделы. Это происходит не каждый раз, но чаще, чем нет.

Обычно это происходит, когда я копирую новую (er) версию на рабочую виртуальную машину (в той же подсети, что и кластер kafka, по соображениям скорости).

Когда он будет заблокирован, я увижу;

1. «Подключиться»: org.apache.zookeeper.ZooKeeper - Initiating client connection
2. «Клиент»: [StreamThread-1] INFO o.a.k.s.p.internals.StreamTask - Creating restoration consumer client
3. «Ping»: я увижу это, и приложение не завершит работу нормально. Это должно быть уничтожено.

В любом из этих случаев сообщение обычно будет повторяться бесконечно (ну, по крайней мере, на протяжении всего обеда собрания. Т.Е. Слишком долго).

Приложение завершает работу «чисто» до того, как это произойдет.

Что я делаю не так?

Редактировать:

Это самое последнее время — через 20 минут я получил поток ошибок:

org.apache.kafka.common.ошибки.Исключение TimeoutException: пакет, содержащий 101 запись (ы), истек из-за тайм-аута при запросе метаданных у брокеров

затем:

org.apache.kafka.clients.consumer.Исключение CommitFailedException: фиксация не может быть завершена, поскольку группа уже перебалансировала и назначила разделы другому члену

—> что является хорошим трюком, поскольку другого участника нет.

Если вы работаете с Kafka 0.10.0.x, возможно, вы столкнулись с известной проблемой:

https://cwiki.apache.org/confluence/display/KAFKA/KIP-62: Allow consumer to send heartbeats from a background thread

Это было решено в готовящемся выпуске Kafka 0.10.1.0, и я бы рекомендовал вам попробовать новую версию, чтобы увидеть, исчезнет ли эта проблема.