Вопрос дизайна Кафки с повторяющимися событиями

#apache-kafka #akka-cluster

Вопрос:

У меня есть эта архитектура с Кафкой, и я хотел бы выяснить, как лучше всего ее решить.

Я должен two Kafka Producers избегать единой точки сбоя, каждая из которых подписана на внешнюю службу, и когда эта служба отправляет обратный вызов, обе генерируют одно и то же событие и отправляют в одну и ту же тему Bla .

Затем у меня есть consumer подписка на эту тему Bla , которая использует дублированные события.

Возможные Решения: Используйте некоторые распределенные помехи, такие как распределенные данные Akka, для связи с производителями и отправки только одного события.

Или сделайте моего потребителя идемпотентным и способным потреблять повторяющиеся события без конфликтов.

Есть ли какая-нибудь другая альтернатива этому?

С уважением

Комментарии:

1. Используйте распределенную блокировку вокруг события отправки вашего производителя

2. Я читал, что zookeeper может это сделать, я буду читать об этом

3. Куратор-это библиотека более высокого уровня, которая тоже может помочь.