Какой предлагаемый метод объемного использования для zookeeper и брокера для Apache kafka?

#kubernetes #apache-kafka #apache-zookeeper #persistent-storage

#kubernetes #apache-kafka #apache-zookeeper #постоянное хранилище

Вопрос:

Какой предлагаемый метод volume следует использовать для zookeeper amp; broker для Apache Kafka, работающего в среде kubernetes?

Я использую кластер из 3 узлов и попытался использовать постоянный том, но есть ли какой-либо рекомендуемый метод тома Apache Kafka?

Ответ №1:

Вы можете использовать helm charts для установки Apache Kafka на Kubernetes (это рекомендуемый способ Confluent). Вы можете найти диаграммы здесь. Кроме того, у вас есть графики некоторых размеров сохраняемости по умолчанию для Kafka. Также Confluent рекомендует использовать общее хранилище, а не локальное хранилище. Вы можете найти более подробную информацию здесь и здесь .

Рекомендуемое хранилище: 4 ГБ для Zookeeper и для Kafka у вас есть: r4.xlarge на AWS, n1-highmem-4 на GCP, DS5v2 на Azure и 12-ядерный, 128 ГБ ОЗУ, 12-дисковый локальный сервер. Вы можете найти больше здесь.