yolov5 snpe量化笔记

目录

onnx作用:

量化步骤:

batch size



 

onnx作用:


pth 数据格式是 n c h w 

snpe 数据格式是 n h w c

onnx中介是因为onnx导出nxhxwxc

 github地址:

https://github.com/gesanqiu/SNPE_Tutorial

有很多readme,比如模型转换的readme

【注】:模型转换在x86 PC上进行,需要预先完成[SNPE Setup](https://developer.qualcomm.com/sites/default/files/docs/snpe/setup.html)。

模型转换本身并不复杂,因为模型本身只代表一系列运算(算子Ops),但是不同的框架(也可以说是不同的硬件平台所导致的)使用了不同的规范和实现,在各个框架之间做模型转换,通常会借助ONNX(Open Neural Network Exchange)这一规范来完成。

```Shell
snpe-onnx-to-dlc --input_network models/bvlc_alexnet/bvlc_alexnet/model.onnx
--output_path bvlc_alexnet.dlc
```

SNPE将onnx模型转换为dlc的命令很简单,转换失败最主要的原因就是算子不支持,这个需要自行去一层一层网络进行排查,转换失败的log也会给出一些提示。

注:SNPE支持的ONNX算子可以在[Support ONNX Ops](https://developer.qualcomm.com/sites/default/files/docs/snpe/supported_onnx_ops.html)中查到。

注:SNPE支持的网络层可以在[Supported Network Layers](https://developer.qualcomm.com/sites/default/files/docs/snpe/network_layers.html)中查到。

在选择模型时我们也应该从这三个方面去做平衡:

- 模型大小影响的是推理耗时,也不完全线性关系;
- 模型初始化是因为不同的runtime能处理的数据类型有限,假如说quantized模型跑在CPU上,在初始化时,SNPE首先会解量化,把原本uint8的数据转为float32再做推理,而解量化这一过程会增加模型加载和初始化的时间;
- quantize/de-quantize均会带来运算精度上的损失。

量化步骤:

1. 归一化到0-255之间,uint8类型

2.计算

只有snpe支持dsp运行模型。

准备row格式数据。

每个类别准备3-5张代表图片,总图片建议200张以上。

float32数据格式

batch size

量化模型的batch size必须为1,但是可以在构建SNPE实例是通过[setInputDimensions()](https://developer.qualcomm.com/sites/default/files/docs/snpe/group__c__plus__plus__apis.html#abb432cbbc740c42ea942d886b9c1c53e)动态resize输入尺寸。
 

猜你喜欢

转载自blog.csdn.net/jacke121/article/details/132002615
今日推荐