#apache-kafka #apache-zookeeper #apache-kafka-mirrormaker
#apache-kafka #apache-zookeeper #apache-kafka-mirrormaker
Вопрос:
Я работаю над настройкой кластера Kafka с несколькими кластерами постоянного тока. Цель состоит в том, чтобы гарантировать, что в случае выхода из строя одного постоянного тока как производители, так и потребители смогут продолжать работу без каких-либо проблем. Я наткнулся на два варианта, но не уверен, в чем разница и как это работает.
Вариант 1. Настройка нескольких кластеров zookeeper (по одному кластеру на DC)
Настройка нескольких смотрителей зоопарка, и у каждого смотрителя зоопарка будет свой набор брокеров в DC. В этом сценарии я действительно получу как активно-активное, так и аварийное восстановление? Если 1 DC выйдет из строя, что произойдет с потребителями?
Вариант 2: Настройка Mirror Maker с источником и целью
Я понимаю, что это репликация одного кластера в другой. Но как мне указать на оба кластера с точки зрения потребителя или производителя? Будет ли это обрабатываться автоматически или я должен сделать это вручную?
Любое объяснение этих вариантов приветствуется.
Комментарии:
1. 1) Zookeeper скоро будет удален из Kafka. 2) Возможно, вы захотите взглянуть на confluent.io/blog/kafka-cluster-linking-with-confluent-platform 3) в блогах aws рассказывается о настройке кластеров в нескольких зонах доступности, что в основном совпадает с географически близкими центрами обработки данных
2. Confluent Kafka имеет replicator, который входит в состав Enterprise edition. Если я использую confluent Kafka community edition, будут ли какие-либо ограничения, о которых мне нужно беспокоиться? Мы не заинтересованы в покупке корпоративной версии.
3. Не существует такого понятия, как «Confluent Kafka». Существует Confluent Server или Confluent Platform. Вы можете использовать MirrorMaker2 вместо replicator, но я больше указывал на функции связывания кластеров