Блог

Я относительно новичок в машинном обучении и Tensorflow, и я хочу попробовать реализовать мини-пакетный градиентный спуск в наборе данных MNIST. Однако я не уверен, как я должен это реализовать.

(Примечание: обучающие изображения (28 пикселей на 28 пикселей) и метки хранятся в массивах Numpy)

На данный момент я вижу 2 разных способа его реализации:

1. Мои обучающие изображения находятся в массиве Numpy [60000,28,28]. Преобразуйте это в [25 (количество пакетов), 2400 (количество изображений в пакете), 28,28], а затем используйте цикл for для вызова каждого пакета и передачи ему метода model.compile(). Единственное, что меня беспокоит в этом методе, это то, что циклы for по своей сути медленные, а векторизованная реализация была бы намного быстрее.

2. Объедините изображения и метки в объект набора данных tensorflow, а затем вызовите метод Dataset.batch() и метод Dataset.prefetch(), а затем передайте данные в метод model.compile(). Единственная проблема заключается в том, что мои данные не остаются в виде массива Numpy, который, как я чувствую, обладает большей гибкостью, чем объекты набора данных tensorflow.

Какой из этих 2 методов было бы лучше всего реализовать, или есть третий способ, который является лучшим, о котором я не знаю?

Keras имеет встроенный аргумент batch_size для своей модели.метод подгонки (поскольку вы отметили этот вопрос keras, я предполагаю, что вы его используете). Я считаю, что это, вероятно, будет лучшим оптимизированным методом для достижения того, что вы ищете.