Проблема с памятью даже при размере пакета 1, который при обучении не

#python #tensorflow

Вопрос:

Я столкнулся со странной проблемой при обучении своей модели UNET like. Моя система-графический процессор NVIDIA GeForce RTX 3090, и я использую Keras версии 2.6.0 .и tensorflow версии 2.6.1. Мои обучающие данные содержат почти 1400 изображений размером 1024×1360 вместе с масками. Обучение этой модели становится чрезвычайно сложным, и я сталкиваюсь со следующими проблемами:

  1. Ошибка, связанная с ресурсом
  2. Внутренняя ошибка: не удалось скопировать внутреннюю ошибку.
  3. Когда я уменьшаю обучающие данные до 15-20 изображений вместе с batch_size=1, они запускаются, но останавливаются в произвольную эпоху.

Я чувствую, что проблема может быть связана с огромными данными обучения, но именно здесь полезен размер пакета. Не знаю, что еще я должен попробовать и исправить тренировку. Пожалуйста, предложите.

Комментарии:

1. Какова форма вашего выходного тензора?

2. @Yaoshiang its (Нет, 1024, 1360, 1)

3. Какова ваша базовая модель, подключаемая к Unet, и какую реализацию Unet вы используете, qubvel?

4. Я решил проблему с помощью пользовательского генератора. Спасибо @Yaoshiang