#google-cloud-data-fusion
#google-cloud-data-fusion
Вопрос:
Как я могу добавить новые поля в схему? Мы собираем записи из базы данных SQL и хотели бы добавить несколько столбцов метаданных в процессе конвейера.
Кроме того, есть ли способ использовать плагин record duplicator таким образом, чтобы дочерние записи имели отдельное идентифицирующее поле? Спасибо.
Комментарии:
1. что вы подразумеваете под столбцами метаданных? Передаются ли они из источника? При создании конвейера вы должны иметь возможность добавлять столбцы в схему вывода. Не могли бы вы рассказать немного больше о том, что вы пытаетесь?
2. Нет, эти столбцы не существуют в источнике. Мы пытаемся воспроизвести существующий рабочий процесс Pentaho. При этом выбирается источник, затем добавляется несколько новых столбцов, некоторые из них представляют собой просто MD5-хэши существующих столбцов идентификаторов, некоторые из них представляют собой вычисляемые поля даты, времени или суммы. Спасибо.
3. sacoder: один из способов сделать это — использовать преобразование wrangler. Wrangler позволяет хэшировать определенные или кодировать определенные столбцы.