1 电脑环境

系统：Win10
显卡：NVIDIA GeForce RTX 3090
cuda版本：CUDA 11.6.0 (后更新到CUDA 11.6.2)
python版本：3.9
TensorRT安装版本：8.5.1.7
(TensorRT与CUDA版本匹配，参见文献[4][5])

2 下载安装库

2.1 所需资源(假定已经安装cuda和cudnn)

1)TensorRT-8.5.1.7(下载资源包，下载链接：https://developer.nvidia.com/tensorrt
2) ONNX(pip 在线安装)
3) cython(pip 在线安装)
4) pycuda(pip 离线安装，下载链接：https://pypi.org/project/pycuda/2022.1/#history
5) torch2trt(pip 离线安装，下载链接：https://github.com/NVIDIA-AI-IOT/torch2trt

2.2 TensorRT 下载

下载对应cuda和操作系统的压缩包

3 安装过程

3.1 安装 ONNX

离线安装时下载链接：https://github.com/onnx/onnx/tree/rel-1.6.0
推荐在线pip，安装命令：pip install onnx
在这里插入图片描述

3.2 安装cython和pycuda

pip 安装命令：
pip install cython （在线安装命令）
pip install pycuda-2022.1.tar.gz（离线安装命令，下载链接见 章节2.1）
在这里插入图片描述
（不小心把pycuda-2022.1.tar.gz依赖包放到了文件夹torch2trt-master下面）

3.3 TensorRT环境配置与安装

1）将下载的TensorRT-8.5.1.7放到自己需要的位置，我放在了D:\ProgramData\文件夹下。
2）将TensorRT的lib位置添加到环境变量
路径：此电脑–属性–高级系统设置–环境变量–
D:\ProgramData\TensorRT-8.5.1.7.Win10.x86_64.cuda-11.8.cudnn8.6\TensorRT-8.5.1.7\lib
在这里插入图片描述

3）pip离线安装三个.whl文件
在这里插入图片描述
（1）pip install graphsurgeon-0.4.6-py2.py3-none-any.whl
（2）pip install uff-0.6.9-py2.py3-none-any.whl
（3）pip install tensorrt-8.5.1.7-cp39-none-win_amd64.whl（选择对应python版本）

4）复制tensorrt的库到CUDA安装目录的指定文件夹
（1）将 TensorRT-8.5.1.7\include中头文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\include
（2）将TensorRT-8.5.1.7\lib 中所有lib文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\lib\x64
（3）将TensorRT-8.5.1.7\lib 中所有dll文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\bin

3.4 torch2trt安装

(https://blog.csdn.net/weixin_44077524/article/details/123270054)
下载地址：https://github.com/NVIDIA-AI-IOT/torch2trt
安装方法(离线安装)：python setup.py install
在这里插入图片描述
测试是否安装成功：