AzureML: Процесс двигателя завершен. Скорее всего, это связано с нехваткой памяти в системе. Пожалуйста, повторите попытку с увеличенной памятью

#azureml #azureml-python-sdk

Вопрос:

Я пытаюсь провести эксперимент на AzureML через блокнот. Я получаю вышеуказанную ошибку при попытке прочитать набор данных, созданный на предыдущем шаге.

Я проверил использование памяти с помощью команды — df -h и все выглядит нормально. Я проверил ссылки git с той же ошибкой, но, похоже, это не было решено.

Ссылка на проблемы Github

Что здесь происходит не так?

Ниже строка кода выдает ошибку. Эта строка успешно выполнялась всего день назад в том же рабочем пространстве с использованием тех же вычислений.

введите описание изображения здесь

Ниже приведен экран памяти:

введите описание изображения здесь

Комментарии:

1. У меня та же ошибка. И кодовый блок, получивший ошибку, работал нормально 2 дня назад.

Ответ №1:

наша команда работает над исправлением, извините за неудобства.

До тех пор у вас есть два возможных варианта решения проблемы: вы можете переключиться на ноутбук Jupyter вместо использования встроенного ноутбука или добавить приведенный ниже фрагмент в свой ноутбук:

 import oscurrent_dir = os.getcwd()
if not current_dir.endswith('/code'):
  os.chdir(current_dir '/code')
 

Ответ №2:

У меня та же проблема. Я использовал ноутбук AML с 7 ГБ оперативной памяти для обучения модели временных рядов на 5 МБ данных. Тренировка завершится за 2 секунды. Я делал это через день в течение нескольких месяцев, и теперь мне становится MemoryError: Engine process terminated. This is most likely due to system running out of memory. Please retry with increased memory. странно, что мы получаем ошибку примерно через 1 секунду, а это не то, что вы ожидали бы при ошибке памяти. Это даже после обновления до 28 ГБ оперативной памяти. Должно быть, что-то изменилось на стороне AML? Но в примечаниях к выпуску ничего нет.

Комментарии:

1. Получал ошибку даже с Dataset.get_by_name(ws, 'dataset-name') , но ошибка исчезла, и теперь все снова работает нормально. Вместо этого я начал использовать ноутбук Jupyter.

Ответ №3:

Сегодня утром я столкнулся с той же проблемой — точно такое же сообщение об ошибке, как и в ответе Чарла, только при звонке Dataset.get_by_name(ws, 'dataset-name') из записной книжки.

Затем эта ошибка, казалось, разрешилась сама собой , без каких-либо изменений с моей стороны, но теперь многие другие ячейки в записной книжке, которые потребовали бы очень мало памяти (например, создание экземпляра OutputDatasetConfig(...) или попытка вообще что-либо сделать с набором данных), выдают ту же ошибку.