参考：nVidia-tensorrt-install-guide
查看环境，下载对应版本的tensorrt
需要查看的环境如下：
# 查看cuda版本
nvcc -V
# 查看cudnn版本
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2
# 查看对应的tensorflow版本
pip list|grep tensorflow
# python版本设置为3.6
我的版本如下：
nvcc -V
Copyright (c) 2005-2018 NVIDIA Corporation
Built on Sat_Aug_25_21:08:01_CDT_2018
Cuda compilation tools, release 10.0, V10.0.130
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2
#define CUDNN_MAJOR 7
#define CUDNN_MINOR 6
#define CUDNN_PATCHLEVEL 1
--
#define CUDNN_VERSION (CUDNN_MAJOR * 1000 + CUDNN_MINOR * 100 + CUDNN_PATCHLEVEL)
#include "driver_types.h"
下载对应版本的tensorrt，下载时要注册账号，自己注册一个就行了。
下载
我下载的是.tar版本的TensorRT-7.0.0.11。便于灵活安装。
安装
- 解压到指定环境，官方解压到
/usr/src/tensorrt/中。也可以放在自己方便的文件夹下。
tar -xzvf TensorRT-7.0.0.11.Ubuntu-18.04.x86_64-gnu.cuda-10.0.cudnn7.6.tar.gz
ls TensorRT-7.0.0.11
bin data doc graphsurgeon include lib python samples targets TensorRT-Release-Notes.pdf uff
- 添加绝对路径
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:<TensorRT-${version}/lib>
# <TensorRT-${version}/lib>换成上述lib文件夹下的绝对路径就可以。
- 安装tensorrt
cd python
pip3 install tensorrt-7.0.0.11-cp36-none-linux_x86_64.whl
- 安装uff
cd uff
pip3 install uff-0.6.5-py2.py3-none-any.whl
# 验证uff
which convert-to-uff
- 安装graphsurgeon
cd graphsurgeon
pip3 install graphsurgeon-0.4.1-py2.py3-none-any.whl
验证
https://github.com/NVIDIA/TensorRT/tree/master/samples/opensource/sampleMNIST