Kafka не работает после того, как потребитель начал потреблять данные

#apache-kafka #log4j #apache-zookeeper #kafka-consumer-api #apache-kafka-connect

#apache-kafka #log4j #apache-zookeeper #kafka-consumer-api #apache-kafka-connect

Вопрос:

Я новичок в Kafka и установил kafka в Windows 10, выполнив шаги в https://kafka.apache.org/quickstart

На шаге 5 после запуска потребителя.

Я получаю следующие ошибки после выполнения следующей команды

 bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
  

Я получаю следующую ошибку при создании темы с помощью приведенной выше команды.

 [2019-03-18 19:09:44,905] ERROR Error while loading log dir C:tmpkafka-logs (kafka.log.LogManager)
java.io.IOException: Map failed
        at sun.nio.ch.FileChannelImpl.map(Unknown Source)
        at kafka.log.AbstractIndex.<init>(AbstractIndex.scala:126)
        at kafka.log.OffsetIndex.<init>(OffsetIndex.scala:54)
        at kafka.log.LogSegment$.open(LogSegment.scala:634)
        at kafka.log.Log$$anonfun$kafka$log$Log$$loadSegmentFiles$3.apply(Log.scala:434)
        at kafka.log.Log$$anonfun$kafka$log$Log$$loadSegmentFiles$3.apply(Log.scala:421)
        at scala.collection.TraversableLike$WithFilter$$anonfun$foreach$1.apply(TraversableLike.scala:733)
        at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
  

После этой ошибки, даже если я запускаю сервер Kafka, появляется та же ошибка.

Другая ошибка возникает, когда я перечисляю темы или создаю тему:

 bin/kafka-topics.sh --list --zookeeper localhost:2181
log4j:ERROR Could not read configuration file from URL [file:/c/Users/sboyapal/Projects/Polaris/kafka_2.11-2.1.0/bin/../config/tools-log4j.properties].
java.io.FileNotFoundException: cUserssboyapalProjectsPolariskafka_2.11-2.1.0bin..configtools-log4j.properties (The system cannot find the path specified)
        at java.io.FileInputStream.open0(Native Method)
        at java.io.FileInputStream.open(Unknown Source)
        at java.io.FileInputStream.<init>(Unknown Source)
        at java.io.FileInputStream.<init>(Unknown Source)
        at sun.net.www.protocol.file.FileURLConnection.connect(Unknown Source)
        at sun.net.www.protocol.file.FileURLConnection.getInputStream(Unknown Source)
        at org.apache.log4j.PropertyConfigurator.doConfigure(PropertyConfigurator.java:557)
        at org.apache.log4j.helpers.OptionConverter.selectAndConfigure(OptionConverter.java:526)
        at org.apache.log4j.LogManager.<clinit>(LogManager.java:127)
        at org.slf4j.impl.Log4jLoggerFactory.<init>(Log4jLoggerFactory.java:66)
        at org.slf4j.impl.StaticLoggerBinder.<init>(StaticLoggerBinder.java:72)
        at org.slf4j.impl.StaticLoggerBinder.<clinit>(StaticLoggerBinder.java:45)
        at org.slf4j.LoggerFactory.bind(LoggerFactory.java:150)
        at org.slf4j.LoggerFactory.performInitialization(LoggerFactory.java:124)
        at org.slf4j.LoggerFactory.getILoggerFactory(LoggerFactory.java:412)
        at org.slf4j.LoggerFactory.getLogger(LoggerFactory.java:357)
        at com.typesafe.scalalogging.Logger$.apply(Logger.scala:48)
        at kafka.utils.Log4jControllerRegistration$.<init>(Logging.scala:25)
        at kafka.utils.Log4jControllerRegistration$.<clinit>(Logging.scala)
        at kafka.utils.Logging$class.$init$(Logging.scala:47)
        at kafka.admin.TopicCommand$.<init>(TopicCommand.scala:40)
        at kafka.admin.TopicCommand$.<clinit>(TopicCommand.scala)
        at kafka.admin.TopicCommand.main(TopicCommand.scala)
log4j:ERROR Ignoring configuration file [file:/c/Users/sboyapal/Projects/Polaris/kafka_2.11-2.1.0/bin/../config/tools-log4j.properties].
log4j:WARN No appenders could be found for logger (kafka.utils.Log4jControllerRegistration$).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
  

тест

Комментарии:

1. С ошибкой log4j можете ли вы подтвердить, создаются ли ваши темы или нет?

Ответ №1:

Единственный способ устранить проблему — просто удалить C:tmpkafka-logs каталог. После этого запустите сервер kafka и выполните те же действия.

Комментарии:

1. Нужно ли мне удалять всю папку или только файлы в папках.

2. удалите всю папку целиком, она будет воссоздана снова

3. Я получаю другую ошибку при создании темы. обновлен вопрос.

4. Когда я запускаю пользователя, сервер kafka останавливается.

5. следуйте инструкциям programming-tips.in/kafka-set-up-apache-kafka-on-windows