Блог

Я пытаюсь загрузить данные из определенного каталога, который содержит более 10 миллионов изображений и 10 тысяч классов, но проблема в том, что у меня нет другого каталога для всех классов, все изображения находятся только в одном каталоге. У меня есть ярлык файла CSV, который содержит идентификатор и метку. и я пытаюсь использовать VGG16 модель.

 CSV:
id,lable
abf20a,CAR
dsf8sd,BIKE
  

здесь abf20a — это имя изображения "abf20a.jpg"

итак, пожалуйста, помогите мне здесь, как я могу загружать изображения и метки вместе и обучать модель, используя VGG16

Спасибо

Вишал

Вы можете использовать метод flow_from_dataframe ImageDataGenerator для загрузки изображений с использованием файла CSV.
Код:

 import tensorflow as tf
import pandas as pd

df = pd.read_csv('data/img/new.csv')

# Data augmentation pipeline
train_datagen = tf.keras.preprocessing.image.ImageDataGenerator()

# Reading files from path in data frame
train_ds = train_datagen.flow_from_dataframe(df,directory = 'data/img/new', x_col = 'filename', y_col = 'label')
  

Фрейм данных выглядит следующим образом:

     filename    label
0   Capture.PNG 0
  

Если у вас есть только идентификатор в вашем имени файла. Вы можете использовать метод pandas apply для добавления расширения jpg.

 df['id'] = df['id'].apply(lambda x: '{}.jpg'.format(x))
  

Для получения полного набора опций увеличения данных, предоставляемых ImageDataGenerator , вы можете посмотреть на это.

Для получения полного набора опций для flow_from_dataframe вы можете посмотреть на это.

Благодаря этому вам не нужно беспокоиться о несоответствии меток, поскольку это встроенный метод TensorFlow. Кроме того, файлы загружаются по мере необходимости, что позволяет избежать загромождения вашей основной памяти.

Для обучения вы можете просто использовать:

 model.fit(
        train_ds,
        steps_per_epoch=2000,
        epochs=50,
        validation_data=validation_ds,
        validation_steps=800)
  

0. получить список имен файлов в алфавитном порядке, используя os.walk(directory)
1. прочитайте файл CSV и сгенерируйте labels_list список с метками классов в том же порядке, что и имена файлов. использовать
2. использовать tf.keras.preprocessing.image_dataset_from_directory() с параметром label=labels_list

Это даст вам tf.data.Dataset , который вы можете передать в обучающую функцию.

Я думаю, что вы можете выполнить итерацию файла CSV, используя идентификационную метку для чтения изображений. Например:

 import csv 

csv_path = 'your_csv_path'
images_base_path = 'your_images_path'

images=[]
labels=[] 

with open(csv_path, newline='',encoding="utf8") as csvfile:
      spamreader = csv.reader(csvfile, delimiter=' ', quotechar='|')
      for row in spamreader:
          # And than you can do like this:
          # images_complete_path = images_base_path    row[0]
          # images.append(imread(images_complete_path))
          # labels.append(row[1])
  

И чем вы получаете изображения и ярлыки.
Это всего лишь идея, вы можете легко реализовать ее.
Надеюсь, это может быть полезно.