Windows10 安装TensorRT使用python加速yolov5

前言 必读!

安装流程是基于显卡的,选择相应的版本。

版本选择流程:

  • 显卡->驱动->cuda
    • cuda-cuDNN
    • cuda->TensorRT

由显卡选驱动,由支持的驱动下载cuda,由cuda选择cuDNN和TensorRT,最后根据下载的TensorRT检查支持的cuDNN版本。

了解这个流程,你的安装就的心应手了。

安装tensorRT之前你必须更新Nvidia驱动和安装好相应的CUDA了

一、依赖

  • Nvidia驱动
  • cuda
  • cudnn
  • python

1.更新显卡驱动

Nvidia驱动下载

产品系列 如果是笔记本选择带notebooks的

下载类型 :
Game Ready 有对游戏的补丁和游戏支持
Studio驱动程序 稳定质量高
玩游戏的话选第一个,不玩游戏第二个,两个都能用。

2.检查cuda和cuDNN

如果你安装了cuda和cuDNN,检查下版本吧。如果没有跳过检查步骤。

扫描二维码关注公众号,回复: 14860157 查看本文章

1. 查看cuda版本

nvcc -V

2.查看cudnn路径

Linux

which nvcc

windows

set cuda

3.查看cudnn版本

Linux 路径请调整为上面查到的路径

cat /usr/local/cuda/cudnn.h |grep CUDNN_MAJORR -A 2

Windos

(默认的路径 C:\Program Files\NVIDIA\CUDNN\v10.x)

切换盘符(如有需要)

C:> G:

切换到include路径下 路径请调整为上面查到的路径

G:> cd G:\NVIDA GPU Computing Toolkit\CUDAv10.1\include

打开版本文件,查看版本

G:> cudnn_version.h

从上到下就是你的版本号

#define CUDNN_MAJOR 8
#define CUDNN_MAJOR 3
#define CUDNN_PATCHLEVEL 2

版本为8.3.2

利用pytorch查看版本

python #进入python

>>>import torch
>>>print(torch.\__version__)
>>>print(torch.version.cuda)
>>>print(torch.backends.cudnn.version())
>>>exit() #退出

二、安装CUDA

查看支持版本

nvidia-smi 

右上角是支持的版本,安装相应的或者比这低的。

1.下载

注意!不要下载最新版。可能没有匹配的cudnn和tensorRT。别问我怎么知道的。。。是的,那个蠢蛋就是我,我下了。

下载地址:https://developer.nvidia.com/cuda-toolkit-archive

2.安装

选择安装即可,注意路径,和查看安装的组件,不要安装驱动,里面的驱动比较旧了
Driver components是驱动组件,第四个是用来加速游戏的。

只安装CUDA即可。
在这里插入图片描述

三、安装cuDNN

1.下载并解压

下载对应版本的

cuDNN下载地址

2.复制

cudnn下的binincludelib文件夹里的文件复制到

CUDA安装路径下binincludelib文件夹里即可

3. 添加环境变量

一般安装cuda的时候自己添加好了。
将cuda里的bin、include、lib添加到环境变量中

4.下载cuDNN需要的库

下载一个zlib包,解压缩后找到zlibwapi.dll文件,复制粘贴到C:\Windows\System32位置下面(这是cudnn需要的数据压缩软件库)
下载地址:http://www.winimage.com/zLibDll/zlib123dllx64.zip

四、安装tensorRT

1.下载TensorRT

根据你的cuda版本下载tensorRT。!选择windows版本的。

下载地址:https://developer.nvidia.com/nvidia-tensorrt-download

下载的好的zip包你可以看到支持的cuda和cudnn版本!

如果不是相应版本,请重新安装cudnn。我们是根据cuda选的tensorRT。所以cuda不会有错。

再次检查版本!

2.解压

解压后将tensorrt中lib文件夹下的所有dll文件复制到安装的CUDA的bin文件夹

3.添加环境变量

把TensorRT下的lib文件夹路径添加到系统环境变量中

4.安装库

(1)激活环境

重新打开cmd并激活你的环境

conda activate <env-name>

切换到TensorRT文件夹的路径下

cd xxxxx/xxxxx/TensorRT-x.x.x.x

查看文件

dir

我们需要的是graphsurgeon, onnx-graphsurgeon, python, uff这几个文件夹下的python wheel文件

(2) 安装

安装时文件名使用tab键自动补全

a. 安装Python下whl文件
cd python
dir #有多个支持python版本的轮子文件
python -V # 查看python版本
pip install tensorrt-xxxxxxcp当前环境下python版本.whl
剩下的直接装就行了,每个文件夹就一个wheel轮子文件。

b.安装uff下的whl文件
tensorflow需要的,顺手安装上。

pip install uff/uff-0.6.9-py2.py3-none-any.whl

c.安装graphsurgeon下的whl文件

pip install graphsurgeon/graphsurgeon-x.x.x-py2.py3-none-any.whl

d.安装onnx-graphsurgeon下的whl文件

pip install onnx-graphsurgeon/onnx-graphsurgeon-x.x.x-py2.py3-none-any.whl

5.测试

a.利用python测试

>python 
>>>import tensorrt
>>>print(tensorrt.__version__)

b. c/c++测试

稍稍麻烦些,以后补。



到这里安装tensorRT全部内容已经结束了。后面是选读。



附1:安装pycuda

如果需要使用pycuda的话

1.直接pip安装

pip install 'pycuda<2021.1' #官网8.4.*版本提供的命令

2.手动安装(推荐)

进入cuda网站,下载对应版本的pycuda轮子文件。

https://www.lfd.uci.edu/~gohlke/pythonlibs/#pycuda

cuda102就是10.2版本的,cp39就是python3.9,win_amd64就是64位系统。

cd到下载文件夹,激活环境使用pip安装

cd #进入下载路径
conda activate <环境名>
pip install pycuda-2021.1+cudaxxx-cp39-cp39-xxx.whl #tab自动补全

3. 测试

切换到tensorRT的路径下,进入samples提供样例文件夹

cd /usr/local/TensorRT-x.x.x.x/samples/python/network_api_pytorch_minist/
python sample.py #执行样例

他会下载训练集,进行训练然后测试。需要一段时间

附2:加速yolov5

看我另一篇博客。
http://t.csdn.cn/U4LFw

猜你喜欢

转载自blog.csdn.net/weixin_43356770/article/details/124222818