剪枝-量化-转onnx中文系列教程
0.github项目链接
详细查阅:https://github.com/gengyanlei/onnx2tensorRt
1.简介
注释:
作者:leilei
本仓库用于记录自己工程实践过程(剪枝、量化、转onnx、tensorRt导入onnx-python),支持中文
注:
tensorRt是闭源的,deepstream、TensorRT-Inference-Server等都是闭源的,TVM是开源的,
国内的还没有1个统一的,期待。
剪枝目前仅采用channel剪枝!蒸馏暂时不考虑实现!
2.环境要求
darknet
mxnet1.6 +
pytorch1.5 + (yolov5 support pytorch1.4+)
tensorRt7 + (tensorRt7 support python3.4-3.7)
onnx1.5 + (tensorRt7 support onnx1.5)
onnxruntime 1.0
python3.6 +
docker-cuda10.2 +
ubuntu16.04 or ubuntu18.04
TODO:trt8.0