#apache-kafka #rack
#apache-kafka #стойка
Вопрос:
Я создал кластер kafka на AWS и сделал его зависающим, настроив брокера.rack как имя AZ в файле server.properties.
- Кластер содержит 3 стойки (AZ), 6 брокеров
- Все брокеры расположены последовательно, т.е. 1001: AZ1, 1002: AZ2, 1003: AZ3, 1004: AZ1, 1005: AZ2, 1006: AZ3,
- Создал тему с RF = 3, разделы = 18
- В идеале для каждого раздела все 3 копии (одна ведущая и 2 реплики) должны находиться на разных стойках (AZ)
- В моем случае несколько разделов имеют 2 (из 3) реплики в одной стойке, из-за чего они не поддерживают настройку в стойке
Требуется ли какая-либо другая конфигурация при создании темы или в конфигурации kafka?
Комментарии:
1. Учитывая, что вы создали тему после того, как у всех брокеров была настроена rack aware, просто попробуйте запустить предпочтительный выбор лидера, чтобы узнать, устраняет ли это вашу проблему. Я бы предпочел полагаться на круиз-контроль для этого, который намного умнее, чем то, что Кафка знает изначально.