Блог

Я пытаюсь реализовать конвейер ввода с помощью tf.data. Объекты находятся в матрице, экспортированной из matlab, в то время как метки находятся в других файлах, для чтения которых требуются определенные функции.

Имена файлов, которые должны быть загружены, могут быть вычислены с учетом числа.

Вот как я это реализовал

 def load_files(k):
    mesh_file = file_path(k, "off", flags.dataset_mesh)
    mat_file = file_path(k, "mat", flags.dataset_mat)

    mesh = pymesh.load_mesh(mesh_file)
    mat = scipy.io.loadmat(mat_file)

    return mesh.vertices, mat


def generator_fn():
    return (load_files(x) for x in range(1000000   1))


def input_fn() -> Dataset:
    dataset = tf.data.Dataset.from_generator(generator_fn,
           output_types=(tf.as_dtype(tf.float32), tf.as_dtype(tf.float32)), )
    dataset = dataset.batch(batch_size=flags.batch_size).repeat()
    dataset = dataset.cache()
    dataset = dataset.prefetch(buffer_size=flags.prefetch_buffer_size)
    return dataset
  

Проблема в том, что использование графического процессора очень низкое, около 5% (2080 ti). Я не уверен, где находится узкое место.
Я тестирую с помощью простого MLP, но использование графического процессора, похоже, не меняется, несмотря на слои или нейроны на слой, которые я добавляю.

Я выполняю обучение таким образом:

 model = keras.Sequential([
    keras.layers.Flatten(input_shape=(n_input,)),
    keras.layers.Dense(1024, activation=tf.nn.relu),
    .
    .
    .
    keras.layers.Dense(1024, activation=tf.nn.relu),
    keras.layers.Dense(n_output, activation=None)
])

model.compile(optimizer='adam', loss='mean_squared_error')

model.fit(input_fn().make_one_shot_iterator(), steps_per_epoch=1000000, epochs=1)
  

Итак, я думаю, что проблема может заключаться в том, как я передаю данные (проблема не должна заключаться только в чтении файла, поскольку я использую SSD NVMe), в том, как я провожу обучение, или в том, что это всего лишь простая сеть, несмотря на слои, которые я добавляю.

Однако я хотел бы знать, существует ли более эффективный способ передачи данных.

Я использую tensorflow-gpu 2.0.0a0 , я запустил тест от lambda-labs, и он смог использовать графический процессор на 100%