Блог

У меня есть вопрос, когда я использую mirrormaker 2.

Mirrormaker 2 основан на платформе Kafka Connect и может рассматриваться по своей сути как комбинация соединителя источника и приемника Kafka. Итак, в архитектуре MM2 есть разъемы источника и приемника. Но есть ли какой-либо дополнительный кластер Kafka для соединителей в MM2? Потому что в дизайне kafka connect; соединителю источника и приемника требуется кластер Kafka для перемещения данных.

Например, MM2 нужны исходные и целевые кластеры; Мой вопрос в том, нужен ли MM2 третий kafka для зеркального отображения без использования исходных и целевых кластеров?

Другой вопрос в том, можно ли запускать разъемы MM2 в режиме распространения?Я не видел никаких настроек по этому вопросу?

Например, в среде docker; достаточно ли приведенной ниже конфигурации для запуска MM2 в распределенном режиме?

 mirrormaker:
    image: 'wpietri/mirror-maker:2'
    environment:
      - SOURCE=source_ip:9092
      - DESTINATION=dest_ip:9092
      - TOPICS=test-topic
    deploy:
      replicas: 3
      mode: replicated
  

В настоящее время MirrorMaker 2 представляет собой набор исходных соединителей.

Соединитель источника получает записи из внешней системы и передает их в среду выполнения Kafka Connect, которая записывает их в Kafka.

Для MirrorMaker 2 «внешняя система» — это еще один кластер Kafka. Итак, для работы MirrorMaker 2 требуется только 2 кластера Kafka. Тот, в котором соединители получают записи (называемый исходным кластером), и тот, к которому подключено соединение Kafka (называемый целевым кластером).

Разъемы MirrorMaker 2 являются стандартными разъемами Kafka Connect. Они могут использоваться непосредственно с Kafka Connect в автономном или распределенном режиме.