пользовательские имена файлов для шаблона потока данных PubSubToText

# #google-cloud-platform #google-cloud-dataflow #apache-beam

Вопрос:

Я использую шаблон потоковой передачи PubsubToText, предоставляемый Google, для приема входящих данных из облачного паба/подраздела и вывода данных в оконные файлы в указанном выходном каталоге.

Его файлы для создания в следующем формате: префикс2021-07-26T15:30:00.000 Z-2021-07-26T15:35:00.000 Z-панель-0-последний-00-из-01состав

но я хочу иметь следующий формат: префикс.MMDDYYYYHHMISS.суффикс

Любые предложения были бы очень полезны. Спасибо.

Ответ №1:

Я не знаю, можете ли вы сделать это непосредственно в шаблоне потока данных. Но одним из решений является создание облачной функции, запускаемой событием Google Cloud Storage google.storage.object.finalize , которая переименует ваш файл по вашему усмотрению и переместит его обратно в другое облачное хранилище.