Обработка функции переменной длины в TensorflowExtended (TFX)

#tensorflow #tfx

Вопрос:

Я работаю с преобразованием TFX и сталкиваюсь с проблемой с массивом переменной длины.

Моя постановка проблемы выглядит так: у меня есть несколько, скажем так, «групп» данных. Количество примеров в этих группах данных варьируется, например, в первой группе может быть 1000 примеров, во второй группе может быть 500 примеров, и в общей сложности они составляют 1500 примеров.

Моя форма данных TFRecord выглядит следующим [number of data groups, variable-number of tasks in each group, feature dimension] образом . Когда я запустил преобразование TFX с помощью DataflowRunner , я получил сообщение об ошибке ниже, жалуясь на это Arrays were not all the same length . Есть идеи, как это решить?

Большое спасибо!

введите описание изображения здесь