【模型压缩】实例分析量化原理

1.从定点模型训练来分析量化原理:

定点模型训练是一个迁移训练的过程:在浮点网络的相应位置插入定点化处理节点(相

当于激活函数),然后在这个经过定点化的计算图上重新训练神经网络。以全连接层为例,定点模型训练函数会根据 Layer 类型的 Dense 层构建一个 TensorFlow的 dense 层(由 MatMul 和 Add 两个 OP 构成),并且在 MatMul 操作的输入、Add 操作的输出、权重张量和 MatMul 之间、偏置张量和 Add 之间增加定点化处理节点。

解析:公式Q的输入为;X(数据输入,输出,权值值,偏置值),以及统计的(或者人为设置的)最大值和最小值,其目的是将权值偏置训练迭代的结果限制在特定范围内,以减小量化损失。

公式中bitwidth(是要量化的位数16位或者8位)如果要量化8位,那么根据以上描述

 ∇=2frac =xmax*128-1-1 ,当xmax确定即可求出frac,然后Q公式即可正常计算,Q=∇*floor 中floor 就是量化的结果,再次乘以∇ 就是恢复到了浮点值来完成正常的浮点训练(即定点训练只是将网络的进行了定点的限制),当量化网络的整形结果输出时也可通过乘以当前层的∇来得到正常的浮点值。

2.以libfacedetection实例分析

本实例并未进行定点训练,直接将浮点训练结果进行了定点化,但推理部分与上面原理和操作是一致的。

(1)将浮点权值转化为整形值,保存scale值,相当于∇

保存权值和scale值

(2)根据定点原理重写推理算法,首先重写整形矩阵运算,然后利用指令集加速

关于scale的传递,卷积为输入和权值的相乘,池化的输出等于输入

两外relu激活函数的scale需要重新求得,同样向下传递:

(3)定点转浮点的算子,将最终结果转成浮点

猜你喜欢

转载自blog.csdn.net/qq_34106574/article/details/126085473