Блог

У меня есть поток данных, который содержит некоторые поля, такие как идентификатор события, метка времени и т. Д. который остается постоянным для многих записей в конвейере. Я хочу использовать их в имени файла при записи его обратно в формат Parquet с помощью StreamingFileSink. Мы можем использовать суффикс и префикс, если мы используем константы. Однако мне нужна была помощь в извлечении значения из записи, которое можно использовать для создания имени файла.

Шаблон имени файла _ lt;Идентификатор событияgt;—.parquet

 OutputFileConfig config = OutputFileConfig  .builder()  .withPartPrefix("prefix")  .withPartSuffix(".ext")  .build();  

Я планирую использовать это, но мне нужна помощь в извлечении «префикса» из самих записей.

Любые мысли по этому поводу действительно были бы полезны. Заранее спасибо 🙂