Блог

У меня установлена Kafka в моей Windows и настроен локальный кластер Kafka из 2 брокеров. Я пытаюсь отладить некоторые проблемы с надежностью Kafka при работе с 2 брокерами: один выходит из строя, оба выходят из строя и т. Д., И у меня есть пара вопросов.

1. В файле what .properties (точно так же, как у нас есть server.properties) я могу установить следующие свойства, связанные с Kafka: a) брокер.rack b) min.insync.replica c) unclean.leader.election.enable d) enable.auto.commit
2. Где проверять журналы фиксации сообщений пользователя Kafka, когда я пытаюсь отслеживать работоспособность своего кластера?
3. Как мне отслеживать «несинхронизированное» поведение каждого из моих брокеров в кластере? (это нужно только для того, чтобы увидеть, насколько неустойчиво мои брокеры не синхронизированы в кластере, и если есть серьезный недостаток, который мне нужно развернуть в конфигурации кластера)

Ответы на мои вопросы, ссылки, способы отладки работоспособности кластера и входные данные приветствуются!

Вы можете найти все свойства для файла server.properties в разделе Конфигурации брокера. enable.auto.commit это конфигурация потребителя.

Не уверен, что я понимаю, что вы подразумеваете под «журналами фиксации». Смещения группы потребителей хранятся в названном разделе __consumer_offsets . Все разделы хранятся в файлах сегментов на брокере в log.dirs

Вы можете использовать такие инструменты, как JMX Exporter Prometheus Grafana или круиз-контроль для общего мониторинга Kafka. Оба должны дать вам представление о состоянии ISR