#apache-kafka
#apache-kafka
Вопрос:
Я настроил тестовую тему, подобную этой:
kafka-topics --bootstrap-server localhost:9092 --create --topic testing --replication-factor 1 --partitions 1 --config "cleanup.policy=compact,delete" --config "retention.ms=900000" --config "segment.ms=600000" --config "min.cleanable.dirty.ratio=0.01"
После этого я опубликовал некоторые ключи / значения, используя скрипт в непрерывном режиме.
Я ожидаю, что старые ключи начнут удаляться после заданного retention.ms , однако тема продолжает расти без каких-либо удалений.
Есть ли что-то, чего мне не хватает в отношении политики очистки compact, delete?
Комментарии:
1. Неясно, сколько данных в вашей теме, но размер сегмента по умолчанию равен 1G, и удаляются или сжимаются только закрытые сегменты
2. Я думаю, вы справились с этим, я совершенно забыл это проверить. Я буду тестировать с большим количеством данных или меньшим размером сегмента. Спасибо за идею!