Блог

все, у меня следующая проблема:

Я запустил экземпляр P2 с этим AMI. Я установил некоторые инструменты, такие как screen, torch и т.д. Затем я успешно провел несколько экспериментов с использованием GPU и создал образ экземпляра, чтобы я мог завершить его и запустить позже снова.

Позже я запустил новый экземпляр из AMI, который я создал ранее. Все выглядело нормально — screen, torch, мои эксперименты присутствовали в системе, но я не мог запускать те же эксперименты, что и раньше:

Произошел сбой NVIDIA-SMI, поскольку не удалось установить связь с драйвером NVIDIA. Убедитесь, что установлен и запущен последний драйвер NVIDIA.

Мне кажется, что драйверы могут быть установлены (поскольку все остальные инструменты установлены ранее), но они не запущены. Правильное ли это предположение? Как я могу их запустить?

Недавно у нас возникла эта проблема. В нашем случае, похоже, что ядро по умолчанию в экземпляре AWS было обновлено (с 4.4.0-1049-aws до 4.4.0-1061-aws), но в новом ядре не были установлены модули nvidia:

 ubuntu@ip-XXX-XXX-XXX-XXX:~$ ls -laR /lib/modules/4.4.0-1061-aws | grep -i nvidia
ubuntu@ip-XXX-XXX-XXX-XXX:~$ ls -laR /lib/modules/4.4.0-1049-aws | grep -i nvidia
-rw-r--r--  1 root root    87368 Jun 27 10:21 nvidia-drm.ko
-rw-r--r--  1 root root  1155304 Jun 27 10:21 nvidia-modeset.ko
-rw-r--r--  1 root root  1163016 Jun 27 10:21 nvidia-uvm.ko
-rw-r--r--  1 root root 18014088 Jun 27 10:21 nvidia.ko
  

Проверьте версию вашего ядра (uname -a), чтобы убедиться, подходит ли это вам. Конфигурация GRUB позволяла загружать старый образ ядра (1049), но по умолчанию загружался новый (1061). Соответствующая часть /boot/grub/cfg:

 ubuntu@ip-XXX-XXX-XXX-XXX:~$ grep -i -e "ubuntu, with linux" /boot/grub/grub.cfg
    menuentry 'Ubuntu, with Linux 4.4.0-1061-aws' --class ubuntu --class gnu-linux --class gnu --class os $menuentry_id_option 'gnulinux-4.4.0-1061-aws-advanced-XXXX' {
    menuentry 'Ubuntu, with Linux 4.4.0-1061-aws (recovery mode)' --class ubuntu --class gnu-linux --class gnu --class os $menuentry_id_option 'gnulinux-4.4.0-1061-aws-recovery-XXXX' {
    menuentry 'Ubuntu, with Linux 4.4.0-1049-aws' --class ubuntu --class gnu-linux --class gnu --class os $menuentry_id_option 'gnulinux-4.4.0-1049-aws-advanced-XXXX' {
    menuentry 'Ubuntu, with Linux 4.4.0-1049-aws (recovery mode)' --class ubuntu --class gnu-linux --class gnu --class os $menuentry_id_option 'gnulinux-4.4.0-1049-aws-recovery-XXXX' {
  

Вы можете принудительно загрузить старое ядро при следующей перезагрузке с помощью grub-reboot:

 sudo /usr/sbin/grub-reboot "Advanced options for Ubuntu>Ubuntu, with Linux 4.4.0-1049-aws"
sudo reboot
  

При этом экземпляр загрузится со старым ядром, для которого у вас есть модули nvidia.

Переустановка драйвера nvidia решила проблему.