#postgresql #debezium #debezium-engine
#postgresql #дебезиум #дебезиум-двигатель
Вопрос:
Я установил плагин debezium для postgres, затем изменил конфигурацию postgres для кодирования wal2json . Теперь, когда я создал новый соединитель с помощью API-интерфейса kafka-connect rest, для каждой записи повторяется раздел схемы, что приводит к потере памяти. Я также попробовал «trasnform», как это, чтобы удалить метаданные:
"transforms": "ReplaceField", "transforms.ReplaceField.type": "org.apache.kafka.connect.transforms.ReplaceField$Value", "transforms.ReplaceField.blacklist": "schema" но ничего не вышло. После того, как я обнаружил, что только поля в payload разделе могут быть удалены, и поэтому соответствующие поля схемы также удаляются, например:
"transforms": "ReplaceField", "transforms.ReplaceField.type": "org.apache.kafka.connect.transforms.ReplaceField$Value", "transforms.ReplaceField.blacklist": "before,source" Есть ли способ удалить раздел схемы, описывающий тип данных, без удаления элементов в полезной нагрузке, например, для удаления этой части?
"schema":{ "type":"struct", "fields":[ { "type":"struct", "fields":[ { "type":"double", "optional":true, "field":"id" }, { "type":"string", "optional":true, "field":"name" } ] } ] }