TensorRT是可以在NVIDIA各种GPU硬件平台下运行的一个C++推理框架。是一个高性能的深度学习推理（Inference）优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理
我们利用Pytorch、TF或者其他框架训练好的模型，可以转化为TensorRT的格式，然后利用TensorRT推理引擎去运行我们这个模型，从而提升这个模型在英伟达GPU上运行的速度。速度提升的比例是比较可观的
TensorRT项目立项的时候名字叫做GPU Inference Engine（简称GIE）
TensorRT(GIE)
おすすめ
転載: blog.csdn.net/hxxjxw/article/details/120779045
おすすめ
ランキング