Блог

Я работаю с обзорным набором данных, в котором столбцы являются числовыми или категориальными. Однако последний столбец представляет собой текстовый обзор (абзац английских предложений), поэтому я использовал универсальный кодировщик предложений (https://tfhub.dev/google/universal-sentence-encoder/4 ), чтобы получить вложение предложения. Цель этого проекта — присвоить метку настроения каждому примеру обзора. Все это было относительно просто с моделью TF (2.0) Keras.

Но я не могу понять, как заставить это работать в конвейере TFX. В частности, я не могу понять, как использовать компоненты ExampleGen и Transform вместе, пытаясь использовать предварительно подготовленную модель встраивания. Компоненту example gen передаются исходные данные, поэтому компонент transform в конечном итоге получает разреженный тензор для текста обзора. Но именно здесь я хочу использовать универсальный кодировщик предложений и вместо этого получить тензор встраивания предложений (кодировщик принимает строку, список строк или список тензоров, жаждущих строк, для генерации вложений). Текст обзора является доминирующей частью классификации настроений, поэтому, по сути, я не могу продолжить.

Я могу сделать две возможные вещи:

1. В компоненте preprocessing_fn преобразования каким-то образом преобразуйте тензор разреженного обзора в тензор строк, который затем может быть передан в модель универсального кодировщика предложений. Я пытался это сделать, но столкнулся с проблемами с быстрым выполнением (у объекта ‘Tensor’ нет атрибута ‘numpy’ ошибка).
2. Отбросьте компонент ExampleGen и вместо этого используйте Apache Beam Tensorflow Transform для получения данных, выполните необходимые преобразования, затем попросите компонент Trainer забрать его отсюда (я еще не уверен в этой части), За которым следует оценщик, Толкатель и т. Д. Но это требует немного больше усилий, и я хотел бы понять, есть ли какой-то трюк, который мне не хватает, прежде чем я пойду по этому пути.

Я относительно новичок в TF, поэтому буду признателен за любую помощь в этом, спасибо!

Редактировать: я нашел эту ссылку, в которой обсуждалось нечто подобное (https://github.com/tensorflow/tfx/issues/2517 ), но и не смог извлечь из этого ничего конкретного.