#apache-kafka #apache-flink #apache-kafka-connect
Вопрос:
У меня есть работа Flink, которая читает темы Kafka avro и записывает файлы в HDFS. Для управления размером подвижного файла я использую размер набора — размер-размер-файл-приемник https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/connectors/filesystem_sink.html#bucketing-file-sink
sink.setBatchSize(1024 * 1024 * 400) // this is 400 MB,
Я хочу повторить то же самое с Kafka Connect и получить файлы одинакового размера. Не могли бы вы помочь мне найти тот же параметр для управления размером файла?
Я нашел только flush.size параметр, который позволил мне установить количество записей до того, как файл должен быть закрыт и запущен новый.
Размер смыва
Ответ №1:
В приемнике HDFS нет такого свойства, которое можно было бы очистить по размеру файла. См. Соответствующий вопрос на Github