Блог

keras.preprocessing.image.ImageDataGenerator используется для создания генераторов для ввода изображений.

Существует ли какая-либо подобная библиотека, доступная для обычного ввода массива numpy?

Нет, я не сталкивался ни с какими подобными библиотеками, но мы можем написать генератор, который делает это для numpy array.

 def gen(batch):
     j = 0 
     while True:
        x = np.array(x_shape)
        y = np.array(y_shape)
        for i in range(batch_size):
              x = read(batch[j])
              y = read(batch[j])
        j  = 1
        yeild x,y
  

Мы можем использовать это как шаблон, мы используем генераторы, потому что наши данные не помещаются в оперативную память. мы также можем использовать итератор вместо j при использовании мультиобработки.