#jupyter-notebook #pycharm #ram
#jupyter-ноутбук #pycharm #ОЗУ
Вопрос:
Я работал с python, используя IDE Pycharm и в то же время используя его интерфейс jupyter. Я не знаю, почему он потребляет огромное количество оперативной памяти, ранее я использовал 8 ГБ оперативной памяти, и я обновляю свой компьютер, добавляя дополнительные 32 ГБ оперативной памяти. с этим я думал, что сообщение о out of memory исчезнет, но нет. Это сообщение встречается реже, но оно все равно появляется. Программа начинает работать медленно, и мне приходится подождать пару минут, пока оперативная память не освободится.
Комментарии:
1. PyCharm потребляет много оперативной памяти в целом. Если у вас есть несколько каталогов с данными в проекте, попробуйте пометить их как исключенные. Или попробуйте использовать более легкое решение, такое как JupyterLab, в течение нескольких дней, чтобы сравнить, есть ли проблема в ноутбуках или в IDE.
2. На этот «вопрос» на самом деле нельзя «ответить» с точки зрения того, как обычно работает переполнение стека. Нет информации о том, как что-либо реплицировать. Там нет кода или данных. С моей точки зрения, это может быть просто то, что у вас есть объект, который вы продолжаете добавлять бесконечно и никогда не очищаете. Утечка памяти?
3. Это зависит от того, насколько велики ваши данные, и кажется, что вы не удаляете старые данные (что хорошо для огромных данных,
delключевое слово). ПопробуйтеSpyder(иногда это лучше: он не будет читать и пытаться интерпретировать данные (в консоли данных) при каждой команде). Если у вас все еще есть ошибка, проблема в данных. Делайте пакетами, разделяйте алгоритмы на подмодели в отдельных файлах. Не используйте jupyter, а просто python (например, ipython): на больших данных вы уже теряете интерактивность. Просто выполните jupyter для небольшого подмножества, чтобы подготовить полные вычисления.4. Кроме того, (по моему опыту) он игнорирует параметр максимального размера кучи в разделе Справка / Изменение настроек памяти.