Блог

У меня есть несколько брокеров, которые обрабатывают данные нескольких приложений. У меня включен очиститель журналов для всех брокеров с cleanup.policy помощью as delete. Несколько недель назад возникла проблема, из-за которой очиститель журналов перестал работать в одном из брокеров, и это привело к полному использованию диска, и это не было обнаружено.

Я ищу эффективный способ проверить, перестал ли работать очиститель журнала брокера.

Во-первых, я использую версию Kafka 1.0.2.

В качестве простого метода я попытался просмотреть журналы очистителя журналов, и когда журнал не обновлялся в течение значительного промежутка времени, это означало, что очиститель журналов перестал работать.

Но по какой-то причине журнал некоторых брокеров log-cleaner не обновлялся, даже несмотря на то, что log-cleaner был запущен (понятно, потому что размер журнала приложений не увеличивался по прошествии значительного времени).

Я попытался поиграть с несколькими конфигурациями log.cleaner.min.cleanable.ratio и log.retention.check.interval.ms т. Д. О том, почему журнал log-cleaner не обновлялся, Но я ни на что не мог сделать вывод. Есть идеи о том, как проверить, запущен ли очиститель журнала или почему журнал log-cleaner не будет регистрироваться?

TLDR;

Возникли некоторые проблемы, поскольку очиститель журнала брокера Kafka остановился и не смог вовремя его обнаружить. Ищете эффективный метод проверки завершения очистки журнала.