pytorch 29 onnx多输入多输出模型(动态尺寸)转TensorRT模型并在python与C++下用TensorRT进行部署

实现将多输入多输出的onnx模型转TensorRT的格式,并用TensorRT的python api进行调用,最后实现C++的调用,python结果与C++结果一模一样。在此过程中实现了,动态尺寸,也就是可以在运行是按照数据情况动态调整模型的输入数据的格式。

在这里以pytorch的多输入多输出模型为例,从模型构建到转化为onnx动态size、tensorrt安装、onnx转tensorRT动态size、tensorRT模型pytthon调用、tensorRT C++项目配置,最终到tensorRT模型C++调用。实现从零开始,到多输入多输出tensorRT动态size模型的C++调用。

1、tensorRT的安装

1.1 tensorRT的下载

下载时需要根据自己电脑上的显卡与cuda选择版本。选择版本时需要注意,GA是正式发行版,EA是测试版。建议下载GA版。博主下载的是8.2的GA版

下载地址为:https://developer.nvidia.com/nvidia-tensorrt-8x-download

1.2 win10下tensorRT的安装

在上述过程下载的tensorRT是一个库,并非软件。只需要将tensorRT中lib的路径添加到系统环境变量Path中即可。

<

猜你喜欢

转载自blog.csdn.net/a486259/article/details/125191219