Разработка информационной панели в реальном времени, передающей миллион событий в минуту

#apache-kafka #backpressure

#апач-кафка #противодавление

Вопрос:

Мы разрабатываем панель мониторинга в реальном времени, которая обновляет графики на основе миллионов событий в минуту. На бэкэнде мы обрабатываем события, используя Кафку. И потребители обрабатывают эти сообщения и обновляют панель мониторинга после обработки этих событий. Как мы можем спроектировать серверную часть таким образом, чтобы обеспечить максимально возможную пропускную способность?

Комментарии:

1. Какие инструменты вы используете в настоящее время? Сообщалось, что Друид или Пино поддерживают быстрое проглатывание Кафки