根据lewes6369的TensorRT-yolov3改写了一版基本实现可以推理视频和图片、可以多线程并行加速的TensorRT-yolov3模型，在win10系统和Linux上都成功的进行了编译。
源码和编译方式详见我的github。
win10版源码可以在这里下载。
搭建环境
ubuntu16 & win10
TensorRT 5.1
CUDA 9.0 or CUDA 10.0
测试效果
| Model | GPU | Mode | Inference | FPS |
|---|---|---|---|---|
| yolov3_608 | GTX 1060 | fp32 | 58ms | 15 |
| yolov3_608 | GTX 1060 | int8 | 38ms | 18 |
| yolov3_608 | p40 | fp32 | 20ms | 40 |
| yolov3_608 | p40 | int8 | 13ms | 50 |
