Как анализировать заголовки записей в Kafka Connect S3?

#amazon-s3 #apache-kafka #apache-kafka-connect

#amazon-s3 #apache-kafka #apache-kafka-подключение

Вопрос:

Я использую приемник Kafka Connect S3, и он записывает значение записи только в S3. Я хочу включить некоторые заголовки записей в конечную полезную нагрузку, которая записывается в S3.

Как я могу это сделать?

Ответ №1:

Вам нужно будет использовать простое преобразование сообщений, чтобы перехватить записи, распаковать заголовки и «переместить» их в раздел значений объекта записи.

В исходном коде Kafka Connect S3 вы можете видеть, что значение записи действительно только записывается.

Комментарии:

1. Спасибо за ответ. Мой коллега нашел недавнюю фиксацию в Kafka Connect, где, похоже, в конфигурации будет поддержка. Это правда?

2. Похоже, что это было объединено, так кажется. Лично я искал эту функцию уже несколько лет