Блог

Я следую этому руководству:https://medium.com/mostly-ai/tensorflow-records-what-they-are-and-how-to-use-them-c46bc4bbb564

и я создал некоторые из них SequentialExamples , как я могу создать tf.data.Dataset из них?

У меня есть одномерный список значений фондового рынка на Python, и я хочу в конечном итоге передать нейронной сети значения t1, t2, t3 и заставить ее предсказывать t4 и t5. Я вызову следующий метод и создам множество примеров, где X — входные данные, а Y — прогнозирование.

 def make_example(x=[1,2,3], y=[1,2]):
  x_feature = [tf.train.Feature(float_list=tf.train.FloatList(value=x))]
  y_feature = [tf.train.Feature(float_list=tf.train.FloatList(value=y))]

  x_flist = tf.train.FeatureList(feature=x_feature)
  y_flist = tf.train.FeatureList(feature=y_feature) 

  feature_lists = tf.train.FeatureLists(feature_list={
      "input_x": x_flist,
      "output_y": y_flist
  })

  example = tf.train.SequenceExample(feature_lists=feature_lists)
  print(example)
  return example
  

Я хочу создать tf.data.Dataset из списка Python tf.train.SequenceExample .

Вам нужно открыть writer

 writer = tf.python_io.TFRecordWriter(file_name.tfrecords)
example = tf.train.SequenceExample(feature_lists=f_lists)
writer.write(example.SerializeToString())
writer.close()
  

Затем создайте функцию синтаксического анализа

 def parse_fn(example):
    example_features = {"input_x": x_flist,
                        "output_y": y_flist}
    parsed = tf.parse_single_example(serialized=example, features=example_features)

    return input_x, output_y
  

Затем создайте набор данных

 dataset = tf.data.TFRecordDataset(file_name.tfrecords)
dataset = dataset.shuffle().repeat()
dataset = dataset.map(parse_fn)
  

https://www.tensorflow.org/guide/datasets