#apache-kafka
Вопрос:
Я хочу проверить влияние флагов конфигурации сервера Кафки на мое приложение-потребитель (в основном приложение для потоковой передачи spark).
- num.network.threads: количество потоков, используемых сервером для приема запросов из сети и отправки ответов в сеть.
- число потоков ввода-вывода: количество потоков, используемых сервером для обработки запросов, которые могут включать дисковый ввод-вывод
Еще до того, как начать работу с приложением spark consumer, для тестирования в изоляции я пытаюсь использовать kafka-consumer-perf-test.sh. Я предполагаю, что мне следует изменить флаги num.network.threads/num.io.threads на уровне сервера, а затем выполнить тест kafka-consumer-perf.
Просмотр параметров конфигурации для kafka-consumer-perf-test.sh, есть два флага
- число потоков выборки: Количество потоков выборки. (по умолчанию: 1)
- потоки: Количество потоков обработки. (по умолчанию: 10)
Может ли кто-нибудь объяснить, как мы должны интерпретировать эти флаги? Относятся ли они к числу потоков-потребителей, которые будут потреблять тестовые сообщения? Если да, то как я должен соотносить num-fetch-потоки и потоки для моих потоков в моем потребительском приложении?