深度学习推理加速TensorRT简介

一、概括

TensorRT作为英伟达深度学习系列软件的一部分，是一个高性能(HP)的深度学习推理优化器，可以为深度学习应用提供一个低延迟、高吞吐量的推理部署。基于TensorRT的应用推理性能上是只用CPU时的40多倍（版本TensorRT 7.0）。使用TensorRT，你可以优化现在几乎所有主流深度学习框架（tensorflow、caffe、pytorch、mxnet等）。TensorRT建立在NVIDIA的并行编程模型CUDA的基础上，使你能够利用CUDA-X中的库、开发工具和技术，为人工智能、自动机器、高性能计算和图形优化所有深度学习框架的推理。