Блог

Главная - Вопросы по программированию - Как создать набор данных TensorFlow из списка

Как создать набор данных TensorFlow из списка

#python #tensorflow #tensorflow-datasets

Вопрос:

Не будучи инженером, я испытываю проблемы с соблюдением документации TF о том, как создавать набор данных.

Я собрал набор предложений с метками, которые я хотел бы превратить в набор данных TF, аналогичный набору данных IMDB.

Список выглядит так:

 LIST=[('text1',0),('text2',1),('text3',1),('text4',0),...]

В списке ~100 000 элементов и 2 возможных метки 0-1.

Моя задача состоит в том, чтобы построить модель, которая связывает данное предложение с одной меткой 0-1, как в базовом примере TF для обзоров IMDB.

Я бы предположил, что мне больше ничего не нужно для создания набора данных. Я ошибаюсь?

Как я могу превратить этот список в набор данных TF?

Я был бы признателен любому гиду

Ответ №1:

Рабочий пример кода

 import tensorflow as tf

LIST=[('text1',0),('text2',1),('text3',1),('text4',0)]
text = [x[0] for x in LIST]
label = [x[1] for x in LIST]
dataset = tf.data.Dataset.from_tensor_slices(text)
for element in dataset:
  print(element)

Выход:

 tf.Tensor(b'text1', shape=(), dtype=string)
tf.Tensor(b'text2', shape=(), dtype=string)
tf.Tensor(b'text3', shape=(), dtype=string)
tf.Tensor(b'text4', shape=(), dtype=string)
Метки: