Блог

Главная - Вопросы по программированию - кафка подключается — Повторная проверка рабочего, вызывающая проблему перебалансировки

кафка подключается — Повторная проверка рабочего, вызывающая проблему перебалансировки

#apache-kafka #apache-kafka-connect

Вопрос:

Я использую 2-узловое соединение Кафки в распределенном режиме. Они работают нормально, но в тот момент, когда я перезапускаю рабочую службу, соединитель, работавший на этом узле, переключился на UNASSIGNED то, что ровно через 5 минут он изменился ASSIGNED . Я не знаю, почему это происходит, потому что, как правило, задачи этого соединителя должны быть перенесены на другой работающий узел, верно?

Вот журналы:(через 5 минут после перезапуска рабочего)

 Rebalance started [org.apache.kafka.connect.runtime.distributed.WorkerCoordinator:221]
[2021-08-17 07:23:46,120] [INFO] [Worker clientId=connect-1, groupId=debezium-cluster1] (Re-)joining group [org.apache.kafka.clients.consumer.internals.AbstractCoordinator:538]
[2021-08-17 07:23:46,124] [INFO] [Worker clientId=connect-1, groupId=debezium-cluster1] Successfully joined group with generation Generation{generationId=27, memberId='connect-1-56d39766-4974-4203-945b-6eee4fe811e7', protocol='sessioned'} [org.apache.kafka.clients.consumer.internals.AbstractCoordinator:594]
[2021-08-17 07:23:46,128] [INFO] [Worker clientId=connect-1, groupId=debezium-cluster1] Successfully synced group in generation Generation{generationId=27, memberId='connect-1-56d39766-4974-4203-945b-6eee4fe811e7', protocol='sessioned'} [org.apache.kafka.clients.consumer.internals.AbstractCoordinator:758]
[2021-08-17 07:23:46,129] [INFO] [Worker clientId=connect-1, groupId=debezium-cluster1] Joined group at generation 27 with protocol version 2 and got assignment: Assignment{error=0, leader='connect-1-ccdf6d6a-eeab-423c-9611-56795d0deca9', leaderUrl='http://172.30.32.13:8083/', offset=20, connectorIds=[mysql-connector-01], taskIds=[mysql-connector-01-0], revokedConnectorIds=[], revokedTaskIds=[], delay=0} with rebalance delay: 0 [org.apache.kafka.connect.runtime.distributed.DistributedHerder:1694]
[2021-08-17 07:23:46,129] [INFO] [Worker clientId=connect-1, groupId=debezium-cluster1] Starting connectors and tasks using config offset 20 [org.apache.kafka.connect.runtime.distributed.DistributedHerder:1244]
[2021-08-17 07:23:46,130] [INFO] [Worker clientId=connect-1, groupId=debezium-cluster1] Starting task mysql-connector-01-0 [org.apache.kafka.connect.runtime.distributed.DistributedHerder:1286]
[2021-08-17 07:23:46,131] [INFO] [Worker clientId=connect-1, groupId=debezium-cluster1] Starting connector mysql-connector-01 [org.apache.kafka.connect.runtime.distributed.DistributedHerder:1321]

Я попытался перезапустить разъем, но он не работает.

 curl -X POST 172.30.34.99:8083/connectors/mysql-connector-01/restart

{"error_code":409,"message":"Cannot complete request momentarily due to no known leader URL, likely because a rebalance was underway."}

Ответ №1:

Я нашел причину этого, это связано с запланированной задержкой перебалансировки Кафки. Потрясающий блог, чтобы узнать об этом больше — https://www.confluent.io/blog/incremental-cooperative-rebalancing-in-kafka/

Метки: ,