Tensorflow не обнаруживает мои графические процессоры. Что мне делать (май 2021 года)?

ProgramBox

Tensorflow не обнаруживает мои графические процессоры. Что мне делать (май 2021 года)?

Post author:admin
Запись опубликована:21 января, 2022
Post category:Вопросы по программированию

#tensorflow #gpu

Вопрос:

Версия TF : 2.4.1 Версия CUDA : 11.1

tf.test_is_gpu_available() — возвращает —> ЛОЖЬ tf.test.is_built_with_cuda() — возвращает —>> ИСТИНА

Я попытался вернуть TF к версии 2.4.0, но это не сработало

Я также пытался:

 $ pip uninstall tensorflow

$ pip install tensorflow-gpu

Но, похоже, ничего не работает, TF просто не обнаруживает мои графические процессоры

ПРАВКА 1:

Вывод nvcc —версия:

 nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2020 NVIDIA Corporation
Built on Mon_Oct_12_20:09:46_PDT_2020
Cuda compilation tools, release 11.1, V11.1.105
Build cuda_11.1.TC455_06.29190527_0

Вывод nvidia-smi

  ----------------------------------------------------------------------------- 
| NVIDIA-SMI 460.73.01    Driver Version: 460.73.01    CUDA Version: 11.2     |
|------------------------------- ---------------------- ---------------------- 
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|=============================== ====================== ======================|
|   0  GeForce RTX 3090    Off  | 00000000:01:00.0 Off |                  N/A |
| 30%   35C    P8    23W / 300W |     23MiB / 24268MiB |      0%      Default |
|                               |                      |                  N/A |
 ------------------------------- ---------------------- ---------------------- 
|   1  GeForce RTX 3090    Off  | 00000000:43:00.0 Off |                  N/A |
| 30%   40C    P8    27W / 300W |      5MiB / 24268MiB |      0%      Default |
|                               |                      |                  N/A |
 ------------------------------- ---------------------- ---------------------- 
|   2  GeForce RTX 3090    Off  | 00000000:81:00.0 Off |                  N/A |
| 64%   63C    P2   179W / 300W |  24043MiB / 24268MiB |     59%      Default |
|                               |                      |                  N/A |
 ------------------------------- ---------------------- ---------------------- 
                                                                               
 ----------------------------------------------------------------------------- 
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A      2362      G   /usr/lib/xorg/Xorg                  9MiB |
|    0   N/A  N/A      2564      G   /usr/bin/gnome-shell               12MiB |
|    1   N/A  N/A      2362      G   /usr/lib/xorg/Xorg                  4MiB |
|    2   N/A  N/A      2362      G   /usr/lib/xorg/Xorg                  4MiB |
|    2   N/A  N/A     14304      C   python3                         24035MiB |
 -----------------------------------------------------------------------------

При запуске tf.test.is_gpu_avaliable () я получаю следующее предупреждение:

 WARNING:tensorflow:From Spell_correction.py:35: is_gpu_available (from tensorflow.python.framework.test_util) is deprecated and will be removed in a future version.
Instructions for updating:
Use `tf.config.list_physical_devices('GPU')` instead.
2021-05-07 21:46:21.855460: I tensorflow/compiler/jit/xla_gpu_device.cc:99] Not creating XLA devices, tf_xla_enable_xla_devices not set
2021-05-07 21:46:21.856690: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1720] Found device 0 with properties: 
pciBusID: 0000:43:00.0 name: GeForce RTX 3090 computeCapability: 8.6
coreClock: 1.695GHz coreCount: 82 deviceMemorySize: 23.70GiB deviceMemoryBandwidth: 871.81GiB/s
2021-05-07 21:46:21.856716: I tensorflow/stream_executor/platform/default/dso_loader.cc:49] Successfully opened dynamic library libcudart.so.11.0
2021-05-07 21:46:21.856735: I tensorflow/stream_executor/platform/default/dso_loader.cc:49] Successfully opened dynamic library libcublas.so.11
2021-05-07 21:46:21.856747: I tensorflow/stream_executor/platform/default/dso_loader.cc:49] Successfully opened dynamic library libcublasLt.so.11
2021-05-07 21:46:21.856759: I tensorflow/stream_executor/platform/default/dso_loader.cc:49] Successfully opened dynamic library libcufft.so.10
2021-05-07 21:46:21.856771: I tensorflow/stream_executor/platform/default/dso_loader.cc:49] Successfully opened dynamic library libcurand.so.10
2021-05-07 21:46:21.856829: W tensorflow/stream_executor/platform/default/dso_loader.cc:60] Could not load dynamic library 'libcusolver.so.10'; dlerror: libcusolver.so.10: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /usr/local/cuda-11.1/lib64
2021-05-07 21:46:21.856846: I tensorflow/stream_executor/platform/default/dso_loader.cc:49] Successfully opened dynamic library libcusparse.so.11
2021-05-07 21:46:21.856856: I tensorflow/stream_executor/platform/default/dso_loader.cc:49] Successfully opened dynamic library libcudnn.so.8
2021-05-07 21:46:21.856863: W tensorflow/core/common_runtime/gpu/gpu_device.cc:1757] Cannot dlopen some GPU libraries. Please make sure the missing libraries mentioned above are installed properly if you would like to use GPU. Follow the guide at https://www.tensorflow.org/install/gpu for how to download and setup the required libraries for your platform.
Skipping registering GPU devices...
2021-05-07 21:46:21.942589: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1261] Device interconnect StreamExecutor with strength 1 edge matrix:
2021-05-07 21:46:21.942626: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1267]      0 
2021-05-07 21:46:21.942633: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1280] 0:   N

Еще Одно Наблюдение:

Pytorch обнаруживает графический процессор, в то время как TF-нет.

torch.cuda.is_available() —> TRUE tf.test.is_gpu_available() —>> ЛОЖЬ

1. каков результат (nvcc —версия)?

2. Пожалуйста, запустите некоторый код tensorflow и включите выходные данные в свой вопрос, в нем содержится ключевая информация, такая как загрузка любых библиотек CUDA и обнаружение вашего графического процессора. Любая другая информация бесполезна.

3. 2.4.1 использует CUDA 11.0. Вы не можете использовать CUDA 11.1 в качестве замены CUDA 11.0.

4. @RobertCrovella, я проверил: TF: 2.4.1 CUDA: 11.0 cuDNN: 8, Но все равно та же проблема, что и выше

5. Вы имеете в виду, что вы все еще видите такой вывод: Could not load dynamic library 'libcusolver.so.10'; dlerror: libcusolver.so.10: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /usr/local/cuda-11.1/lib64 в этом случае вы неправильно настроили свой LD_LIBRARY_PATH .

Ответ №1:

если вы используете ubuntu 20.04, я предлагаю выполнить следующие действия. Недавно у меня была такая же проблема.

У тебя есть

 NVIDIA-SMI 460.73.01    Driver Version: 460.73.01    CUDA Version: 11.2     |
|------------------------------- ---------------------- ---------------------- 
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|=============================== ====================== ======================|
|   0  GeForce RTX 3090    Off  | 00000000:01:00.0 Off |                  N/A |
| 30%   35C    P8    23W / 300W |     23MiB / 24268MiB |      0%      Default |
|                               |                      |                  N/A

попробуйте получить последнюю версию NVIDIA 465 и Cuda 11.3. В моем случае nvidia-smi выглядит следующим образом:

  ----------------------------------------------------------------------------- 
| NVIDIA-SMI 465.19.01    Driver Version: 465.19.01    CUDA Version: 11.3     |
|------------------------------- ---------------------- ---------------------- 
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |

Что я сделал;

(1) Я полностью удалил NVIDIA и CUDA, смотрите здесь и будьте осторожны.

 sudo apt-get remove --purge '^nvidia-.*'
sudo apt-get install ubuntu-desktop
sudo rm /etc/X11/xorg.conf
echo 'nouveau' | sudo tee -a /etc/modules

(2) Я скачал NVIDIA, скачал файл .run и просто запустил sudo bash NVIDIA*.run
(3) Я скачал cuDNN и выполняю следующие действия, как описано здесь

 tar -xzvf cudnn-11.3-.*.tgz
sudo cp cuda/include/cudnn.h /usr/local/cuda/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64
sudo chmod a r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*

Также проверьте файлы .bashrc, как описано здесь:

 cd ~

gedit .bashrc или nano .bashrc

#добавьте это в конце :

 export PATH=/usr/local/cuda/bin${PATH: :${PATH}}
export PATH=/usr/local/cuda-11.3/bin${PATH: :${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-11.3/lib64${LD_LIBRARY_PATH: :${LD_LIBRARY_PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda11.3/targets/x86_64linux${LD_LIBRARY_PATH: :${LD_LIBRARY_PATH}}

Затем, pip install tensorflow-gpu==2.4.1