#apache-kafka
Вопрос:
У меня есть кластер кафки с 3 брокерами, работающими в kubernetes. версия кафки, которую я использую, 2.7.1
. Часто мы наблюдаем, что очиститель журналов не может объединить и очистить журнал некоторых разделов. он помечает раздел как нечистый.
Ниже приведено сообщение об ошибке, которое мы видим в журнале…
[2021-11-14 23:04:32,215] WARN [kafka-log-cleaner-thread-0]: Unexpected exception thrown when cleaning log Log(dir=/home/kafka/data/order-0, topic=order, partition=0, highWatermark=50158328, lastStableOffset=50158328, logStartOffset=0, logEndOffset=50158328). Marking its partition (order-0) as uncleanable (kafka.log.LogCleaner) kafka.log.LogCleaningException: Record size 0 is less than the minimum record overhead (14) at kafka.log.LogCleaner$CleanerThread.cleanFilthiestLog(LogCleaner.scala:357) at kafka.log.LogCleaner$CleanerThread.tryCleanFilthiestLog(LogCleaner.scala:333) at kafka.log.LogCleaner$CleanerThread.doWork(LogCleaner.scala:322) at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:96) Caused by: org.apache.kafka.common.errors.CorruptRecordException: Record size 0 is less than the minimum record overhead (14) Если я удалю тему и восстановлю ее, раздел останется неочищенным, если брокеры не будут перезапущены после удаления и повторного создания темы.
в чем причина этой проблемы и как ее устранить ?