Блог

EDIT1: Это результат dmesg после завершения процесса.

 [12011.054140] Out of memory: Killed process 472061 (python3) total-vm:98626268kB, anon-rss:22003964kB, file-rss:62584kB, shmem-rss:14336kB, UID:1000 pgtables:173776kB oom_score_adj:0
[12011.941128] oom_reaper: reaped process 472061 (python3), now anon-rss:0kB, file-rss:74732kB, shmem-rss:14336kB
 

Мне нужно обучить 5 моделей по 10 раз, используя tensorflow и keras для домашней работы. 2 из моделей являются многослойными моделями персептронов, а остальные 3 из них являются моделями CNN. Я тренируюсь с использованием своего графического процессора GTX1660Ti. У меня нет проблем с обучением моделей MLP, но когда я пытаюсь обучить модели CNN, я получаю ошибку ниже:

Я добавил эти две строки кода, чтобы решить эту проблему:

 physical_devices = tf.config.list_physical_devices('GPU')
tf.config.experimental.set_memory_growth(physical_devices[0], True)
 

Однако, когда я пытаюсь обучить все модели в одном сценарии, мой процесс завершается после успешного обучения 3 моделей:

Набор обучающих данных содержит 27000 изображений, набор тестовых данных содержит 5000 изображений, а набор проверочных данных содержит 3000 изображений каждое 28*28. Я подозреваю, что проблема в памяти gpu, но я не знаю подробностей. Любая помощь будет признательна.