#apache-kafka
#apache-kafka
Вопрос:
Я новичок в Kafka, и я пишу приложение, которое непрерывно считывает файлы из каталога (файлы постоянно загружаются в этот каталог) и создает их для одной темы, а на стороне потребителя они должны быть помещены в разные файлы, как и в исходном коде. Как мне это сделать? Заранее благодарю вас!
Комментарии:
1. Вы ознакомились с Kafka Connect? Звучит как идеально подходящий для вас случай, и вам не нужно писать никакого кода. Просто настройте Connect.
2. Спасибо за информацию. Я посмотрел на kafka connect, но не был уверен, что это более подходящее решение или сериализатор / десериализатор. Не могли бы вы, пожалуйста, предоставить более подробную информацию о том, как в этом случае можно использовать Kafka connect?
3. Может быть, вам стоит сначала заглянуть в документацию — не нужно читать, чтобы скопировать это сюда … docs.confluent.io/current/connect/index.html Не стесняйтесь задавать дополнительные вопросы 🙂
4. Я просмотрел соединители JDBC и HDFS, но там не так много документации по соединителям для перемещения файлов.
5. Возможно, вы сможете использовать / модифицировать для своих целей github.com/jcustenborder/kafka-connect-spooldir