Windows安装GPU环境CUDA、深度学习框架Tensorflow和Pytorch
1、未安装CUDA使用tensorflow报错
import tensorflow as tf
2022-03-06 15:14:38.869955: W tensorflow/stream_executor/platform/default/dso_loader.cc:60] Could not load dynamic library 'cudart64_110.dll'; dlerror: cudart64_110.dll not found
2022-03-06 15:14:38.870236: I tensorflow/stream_executor/cuda/cudart_stub.cc:29] Ignore above cudart dlerror if you do not have a GPU set up on your machine.
2、CUDA介绍
首先需要安装GPU环境，包括cuda和cudnn。
深度学习本质上就是训练深度卷积神经网络。
cuda：显卡能够完成并行计算任务，所有的操作是比较底层的、复杂的。
cudnn：在cuda之上有一个专门用于深度神经网络的SDK库来加速完成相关特定的深度学习操作，是用于深度神经网络的GPU加速库。它强调性能、易用性和低内存开销。NVIDIA cuDNN可以集成到更高级别的机器学习框架中，如caffe、tensorflow、pytorch、mxnet等。cudnn简单的插入式设计可以让开发人员专注于设计和实现神经网络模型，而不是调整性能，同时还可以在GPU上实现高性能现代并行计算。
cuda就是用来定义显卡并行运算的一些列底层GPU操作库，cudnn则是在cuda基础上专门正对深度学习定制的高级GPU操作库。
这里我们匹配的版本是CUDA 11.0
3、安装CUDA
根据 Nvidia 的说法，CUDA 内核现在提供浮点和整数运算的并发执行，以提高现代游戏计算密集型工作负载的性能。
查询Tensorflow版本与CUDA的匹配关系
tensorflow_gpu-2.4.0
3.1 下载CUDA
https://developer.nvidia.com/cuda-downloads
选择Windows，打开cmd查看windows版本
安装完，在Anaconda中，输入nvcc -V 进行测试
Anaconda的使用教程可以查看之前的文章：
Python如何使用和配置Anaconda入门
nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2022 NVIDIA Corporation
Built on Thu_Feb_10_19:03:51_Pacific_Standard_Time_2022
Cuda compilation tools, release 11.6, V11.6.112
Build cuda_11.6.r11.6/compiler.30978841_0
CUDA的下载链接：https://developer.nvidia.com/cuda-toolkit-archive
cudnn的下载链接：https://developer.nvidia.com/cuda-downloads
3.2 CUDA下安装Tensorflow
激活Anaconda虚拟环境
conda activate tfenv_py37
conda install tensorflow-gpu
Python 3.7.4 (default, Aug 9 2019, 18:34:13) [MSC v.1915 64 bit (AMD64)] :: Anaconda, Inc. on win32
Type "help", "copyright", "credits" or "license" for more information.
import tensorflow as tf
2022-03-06 16:21:03.223773: I tensorflow/stream_executor/platform/default/dso_loader.cc:49] Successfully opened dynamic library cudart64_110.dll
Cannot dlopen some GPU libraries.Please make sure the missing libraries mentioned above are installed properly if you would like to use GPU. Follow the guide at https://www.tensorflow.org/install/gpu for how to download and setup the required libraries for your platform.
Skipping registering GPU devices...
安装了最新的，版本不匹配，需要根据显卡的CUDA版本，选择对应的CUDA
3.3 测试Tensorflow
import tensorflow as tf
a = tf.constant(2)
Could not load dynamic library 'cudnn64_8.dll'; dlerror: cudnn64_8.dll not found
下载地址：https://developer.nvidia.com/rdp/cudnn-download
3.4 安装CUDNN
下载链接：https://developer.nvidia.com/rdp/cudnn-archive
解压
复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.0
3.5 再次通过Tensorflow测试CUDA
import tensorflow as tf
tf.test.gpu_device_name() # 显示显卡型号
print(tf.test.is_gpu_available()) # 提示True
Not creating XLA devices, tf_xla_enable_xla_devices not set
解决方案
os.environ['TF_XLA_FLAGS'] = '--tf_xla_enable_xla_devices' os.environ['TF_CPP_MIN_LOG_LEVEL']='2'
其实这是由于Tensorflow 2.4版本新特性所致，可以**直接忽略，**看看2.4版本的release就一目了然，并不是很多博客说的版本对应问题，回退到老版本治标不治本。
如果需要用XLA，添加TF_XLA_FLAGS=–tf_xla_enable_xla_devices即可解决该warning。
4、安装pytorch
PyTorch 的速度表现胜过 TensorFlow和Keras 等框架。PyTorch 是所有的框架中面向对象设计的最优雅的一个。
PyTorch主要用来进行深度学习算法建模和推理，为了加快算法训练速度，一般情况下需要使用带GPU的电脑进行Pytoch安装，为了让PyToch能够使用GPU资源，需要安装GPU环境，包括CUDA和CUDNN。
安装Pytorch
conda install pytorch torchvision torchaudio cudatoolkit=11.0 -c pytorch
# CUDA 11.0
conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0
pip install torch==1.7.1+cu110 torchvision==0.8.2+cu110 torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html