1. Post-Training-Quantization(PTQ)流程
Post-Training-Quantization（PTQ）是目前常用的模型量化方法之一。以INT8量化为例，PTQ处理流程如下：
- 1). 首先在数据集上以
FP32精度进行模型训练，得到训练好的baseline模型。 - 2). 使用
小部分数据（校准集）对FP32 baseline模型进行calibration（校准），这一步主要是得到网络各层weights以及activation的数据分布特性（比如统计最大最小值）； - 3). 根据2.中的数据分布特性，
计算出网络各层、量化参数； - 4). 使用3.中的量化参数对FP32 baseline进行量化得到
INT8模型，并将其部署至推理框架进行推理；
PTQ方式会使用小部分数据集来估计网络各层weights和activation的数据分布，找到合适的Scale，从而一定程度上降低模型精度的损失。