#python #linux #memory-management #garbage-collection
Вопрос:
Я использую некоторые библиотеки для обучения своей модели машинному обучению, но они используют много памяти и не будут освобождать ее после завершения, даже при 60 Гб памяти мне всегда не хватает памяти! Я знаю, что есть некоторые решения, такие как «del variable gc.collect ()». но эти методы должны определить, какую переменную нам нужно удалить из памяти! для меня это невозможно, так как у меня много библиотек и переменных, и я понятия не имею, какая из них является проблематичной. это происходит в основном, когда я запускаю свой тест на Linux, в Windows все не так плохо
Поэтому мой вопрос в том, есть ли какое-либо решение для автоматического удаления или освобождения всей памяти, используемой текущим приложением, перед выходом?
Комментарии:
1. Это странно, вы, вероятно, оставляете какой-то процесс. Можете ли вы сделать
ps aux --sort=-%mem | head, чтобы увидеть процесс, использующий память?2. Спасибо @Nulo Да, я считаю, что в этом проблема, и мне было интересно, как я могу автоматически освободить эту память. есть вывод: ubuntu 4948 1594 13.4 15497872 8316416 pts/4 Rl 17 сентября 63743:11 python trans.py ubuntu 3358644 241 10.1 16149352 6254912 pts/6 Sl 19 сентября 5368:47 python fesel.py ubuntu 17243 27.2 8.8 15343136 5441944 pts/2 Tl 17 сентября 1077:55 python fesel.py ubuntu 3358391 579 8.7 12959288 5387956 pts/5 Rl 19 сентября 12892:50 python fesel.py ubuntu 191105 0.0 6.0 10966668 3727112 pts/5 Tl 18 сентября 0:53 python fesel.py
3. ubuntu 1922977 0.0 5.9 10715388 3659300 pts/5 Tl 18 сентября 1:02 питон fesel.py ubuntu 1923076 0,0 5,7 10619312 3562976 pts/6 Tl 18 сентября 0:57 python fesel.py ubuntu 194228 48.1 4.8 12897800 2997656 pts/6 Tl 18 сентября 1696:45 python fesel.py ubuntu 131606 5.3 4.4 12633348 2734004 pts/3 Tl 18 сентября 194:32 python fesel.py
4. Следует отметить две вещи: реализации python для Windows и Linux различны (разные проекты, разные библиотеки C и компиляторы) модели машинного обучения потребляют много памяти, некоторые в терабайтах, поэтому увеличение объема памяти или переключение на Windows может быть тем, что необходимо
5. Каковы эти сценарии python по отношению к сценарию вашей модели?