Как удалить модель из GPU в python без перезапуска ядра

#python #deep-learning #pytorch #gpu #torch

Вопрос:

После обучения модели я хочу удалить все из графического процессора без перезапуска ядра.

 device = torch.device("cuda:1")
model = ...
model.to(device)
 

После обучения модели

 with torch.cuda.device('cuda:1'):
    torch.cuda.empty_cache()
 

После выполнения вышеупомянутых команд использование графического процессора снизится с 20 ГБ до 1626 МБ.

Мой вопрос в том, почему до сих пор используется 1626 МБ? Может быть, это модель, занимающая пространство? Как удалить его из GPU?

Комментарии:

1. Ты пробовал torch.cuda.empty_cache() ?

2. @meti, Да, как я уже упоминал выше, он уменьшается с 20 ГБ до 1626 МБ, и мне любопытно, как очистить оставшиеся 1626 МБ (возможно, это модель, занимающая место).