版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_28413479/article/details/77479722
主要问题
DNN(Deep Neural Networks)的冗余性决定了参数个数不会对网络的精度造成影响。此外,SGD(Stochastic Gradient Descent)所需要的精度仅为6~8bit,因此合理的量化网络也可保证精度的情况下减小模型的存储体积
影响
DNN压缩看参考Stanford大学Han Song博士的几篇论文,如下:
Learning both Weights and Connections for Efficient Neural Networks
Regularizing Deep Neural Networks with Dense-Sparse-Dense Training
Compressing Deep Neural Networks with Pruning , Trained Quantization and Huffman Coding
算法的主要实现思路是发现对网络贡献较小的参数并精简,然后重新训练精简后的稀疏网络以达到减少非0网络参数的个数并保留或提高网络精度的目的,此类方法属于改变网络密度类方法。
图1 Deep Compression的深度神经网络剪枝,量化和编码的示意框图。
量化技术
深度神经网络的量化技术主要可以分为两类:完整训练后量化和训练时量化。与改变密度类方法不同,量化类的方法属于改变网络多样性的方法,容易造成精度损失。
完整训练神经网络后,再执行量化类技术主要针对已完整训练的网络
https://www.zhihu.com/question/40503595