Кафка: Использование шаблонов запросов/ответов в архитектуре, управляемой Кафкой

#apache-kafka

Вопрос:

Я работаю в небольшой компании, которая пытается модернизировать наш обмен данными и IPC для наших систем. Одним из улучшений, которое с энтузиазмом обсуждалось с нашей командой, является внедрение Kafka как способа связать наши распределенные серверы и более надежно передавать данные между процессами. Раньше это была запутанная путаница сокетов, переплетающих наши программы.

Система, которую разрабатывает моя компания, обеспечивает сбор данных в режиме реального времени, поэтому потоковая передача событий Kafka имеет смысл для распространения всех данных в режиме реального времени. Однако есть места, в которых необходимо выполнить запрос синхронного типа запрос-ответ (например, на веб-странице может быть задан вопрос «каковы настройки для этого сценария?»).

Я нашел несколько ответов здесь, на StackOverflow о том, как Кафка могут наломать в запрос/ответ в формате, используя запросу темы и ответ темы и такие, но весь этот процесс кажется немного квадратный колышек круглыми отверстиями и мне было интересно, как другие компании выполнить их мероприятие-трансляция целей и их синхронный запрос-ответ целей.

Является ли всеобъемлющим решением одновременное использование кластера Кафки и API RESTful? Является ли использование Кафки в форме запроса-ответа чем-то, что делается на профессиональном уровне?

Любой вклад был бы чрезвычайно ценен, спасибо.

Комментарии:

1. Ответ не относится конкретно к Кафке. Вам нужно будет в конечном итоге согласиться с согласованными шаблонами доступа к данным, если вы планируете использовать какую-либо систему обмена сообщениями и указали, что записи системного дампа находятся на некотором уровне сохраняемости, чем может запрашивать API

2. Предполагая, что вам действительно нужно решение, специфичное для Кафки, вы можете посмотреть на функцию «Интерактивные запросы» потоков Кафки , которая позволяет вам легче создавать уровень RPC/API поверх потоковых событий

3. Пример приведенного выше azkarrastreams.io/docs/getting-started