Tensor是一个有助于在NVIDIA图形处理单元(GPU)上高性能推理c++库。它旨在与TesnsorFlow、Caffe、Pytorch以及MXNet等训练框架以互补的方式进行工作,专门致力于在GPU上快速有效地进行网络推理。
如今现有的一些训练框架(例如TensorFlow)已经集成了TensorRT,因此可以将其用于加速框架中的推理。另外,TensorRT可以作为用户应用程序中的库,它包括用于从Caffe,ONNX或TensorFlow导入现有模型的解析器,以及用于以编程方式(C++或Python API)构建模型。
TensorRT不仅可以实现目标检测得部署如yolov3、yolov4、yolov5等检测算法,同时也可以部署图像分类算法。
1、AlexNet介绍
接下来我们先基于AlexNet对花朵进行图像分类。
AlexNet网络结构:
该模型一共分为8层,如下图所示,包括5个卷积层和3个全连接层,每个卷积层都包含激活函数ReLU、池化和LRN处理。