Блог

Я пытаюсь понять, где в конвейере TFX я должен объединить три таблицы из S3. Из документации видно, что все примеры TFX, начинающиеся с ExampleGen, начинаются с таблиц, которые уже предназначены для разделения на обучение/тестирование. Однако в моей реализации мне нужно объединить три таблицы до разделения поезда/теста, предлагаемого компонентом ExampleGen TFX.

Я знаю, что преобразование TF обеспечивает некоторую функциональность предварительной обработки, но оно происходит ниже по потоку от примера Gen и, похоже, явно не описывает объединение таблиц.

Нужно ли мне создавать пользовательскую функцию для запуска до ExampleGen, и если да, то как бы я организовал это как часть конвейера TFX?