论文：A Survey of Model Compression and Acceleration for Deep Neural Networks
深度神经网络模型压缩与加速综述
摘要--深度卷积神经网络（CNN）目前在很多视觉识别任务中有非常良好的表现。然而，目前的深度卷积神经网络模型非常耗费计算资源和内存，面临着在终端部署和低延迟需求场景下难以应用的问题。因此，一种很自然的解决方案就是在保证分类准确率不显著下降的前提下对深度卷积神经网络进行压缩和加速。近年来，该领域有很大发展。我们将在本论文中介绍近期压缩和加速 CNN 模型的先进技术。这些技术可以大致分为四类：参数裁剪和共享（parameter pruning and sharing）、低秩分解（low-rank factorization）、迁移/压缩卷积滤波器（transfered/compact convolutional filter）和知识精炼（knowledge distillation）。参数修剪和共享的方法将在论文开头详细描述，其他几类方法也都会在文中介绍。我们对每一类方法的性能、相关应用、优势和缺陷等进行独到的分析。然后本文将介绍几个最近的其他成功方法，如动态网络和随机深度网络（stochastic depths network）。之后，我们将研究评估矩阵（evaluation matrix）——用于评估模型性能和近期基准的主要数据集。最后，我们总结并讨论了现有的挑战和可能的发展方向。
1 参数裁剪和共享
可以进一步分为三类：
(1)模型量化和二进制化
通过减少权重所占存储空间来压缩网络。
网络量化通过减少表示每个权重所需的比特数来压缩原始网络。Gong et al. [6] 和 Wu et al. [7] 对参数值使用 K 均值标量量化。Vanhoucke et al. [8] 展示了 8 比特参数量化可以在准确率损失极小的同时实现大幅加速。[9] 中的研究在基于随机修约（stochastic rounding）的 CNN 训练中使用 16 比特定点表示法（fixed-point representation），显著降低内存和浮点运算，同时分类准确率几乎没有受到损失。
S. Han et al. [10] 提出的方法是首先修剪不重要的连接，重新训练稀疏连接的网络。然后使用权重共享量化连接的权重，再对量化后的权重和码本（codebook）使用霍夫曼编码，以进一步降低压缩率。如图 1 所示，该方法首先通过正常的网络训练来学习连接，然后再修剪权重较小的连接，最后重新训练网络来学习剩余稀疏连接的最终权重。
图 1. [10] 中提到的三阶段压缩方法：修剪、量化（quantization）和霍夫曼编码。修剪减少了需要编码的权重数量，量化和霍夫曼编码减少了用于对每个权重编码的比特数。稀疏表示的元数据包含压缩率。压缩机制不会带来任何准确率损失。
Y. Choi et al. [11]认为海森(Hessian)权重可以用来确定网络参数的重要程度，并且提出了使聚类网络参数的平均Hessian加权量化误差最小化。 对于每个权重用1bit表示的二进制神经网络，也有许多直接训练二进制权值的CNN，例如BinaryConnect [12]，BinaryNet [13]和XNORNetworks [14]。
缺陷：此类二元网络的准确率在处理大型 CNN 网络如 GoogleNet 时会大大降低。另一个缺陷是现有的二进制化方法都基于简单的矩阵近似，忽视了二进制化对准确率的影响。针对这个问题，[16]提出一个=具有对角Hessian近似的牛顿算法(a proximal Newton algorithm with diagonal Hessian approximation )，可以直接最小化关于二进制权重的损失，[17]通过随机二值化权重并将隐藏状态计算中的乘法转换为符号变化来减少训练阶段中浮点乘法的时间。
(2)剪枝和共享
网络剪枝和共享已经被用于降低网络复杂度和解决过拟合问题。有一种早期应用的剪枝方法称为偏差权重衰减法( the Biased Weight Decay)[18]，其中最优脑损伤(The Optimal Brain Damage)[19]和最优脑手术(the Optimal Brain Surgeon [20])的方法基于损失函数的 Hessian 矩阵减少连接的数量，他们的研究表明这种剪枝方法的精确度比基于重要性的剪枝方法更高。
这个方向最近的趋势是在预先训练的CNN模型中修剪冗余的，非信息量的权重。 例如，Srinivas和Babu [21]研究了神经元之间的冗余，并提出了一种无数据修剪方法去除多余的神经元。Han er al. [22]建议减少整个网络中的参数和操作总数。 Chen et al. [23]提出了一个HashedNets模型，该模型使用低成本的散列函数将权重分组为哈希表进行参数共享。文献[10]中的深度压缩方法去掉冗余连接并量化权重，然后使用霍夫曼编码对量化权重进行编码。 在[24]中，提出了一种基于软重量共享的简单正则化方法，其中包括在一个简单（重新）训练过程中的量化和修剪。 值得注意的是，上述修剪方案通常会在CNN中产生连接修剪。
越来越多的学者对训练稀疏性限制的紧凑型CNN(compact CNNs with sparsity constraints )感兴趣，这些稀疏性约束通常在优化问题中作为L0或L1范数被引入。[25]中的工作对卷积滤波器施加了组稀疏约束(group sparsity constraint )，以实现结构化的脑损伤(structured brain Damage )，即以分组方式修剪卷积核。[26 ]在训练阶段引入了一组神经元上的稀疏正则化器，学习紧凑CNNs，可以减少卷积核的数量。[27]在每层上增加了一个结构稀疏正规化器，以减少普通的滤波器、通道甚至层。在滤波器级修剪中，所有上述工作都使用了L2 L1范数正则化器。[28]中的工作使用l1范数来选择和修剪不重要的过滤器。
缺陷：剪枝和共享方法存在一些潜在的问题。首先，若使用了 L1 或 L2 正则化，则剪枝方法需要更多的迭代次数才能收敛，此外，所有的剪枝方法都需要手动设置层的敏感度，即需要精调超参数，在某些应用中会显得很冗长繁重。
(3)设计结构化矩阵
在只包含全连接层的网络中，参数数量可达到10亿[4]，因此，研究全连接层的参数冗余是非常重要的，这通常是内存消耗方面的瓶颈所在。如果一个 m x n 阶矩阵只需要少于 m×n 个参数来描述，就是一个结构化矩阵（structured matrix）。通常这样的结构不仅能减少内存消耗，还能通过快速的矩阵-向量乘法和梯度计算显著加快推理和训练的速度。遵循这个方向，[29] [30]中的工作提出了一种基于循环预测的简单而有效的方法，同时保持了很低的错误率。给定一个向量r=
这样内存消耗的复杂的从
在[31]中，引入了一种新颖的自适应快速变换来重新参数化完全连接层的矩阵向量乘法。[32]中的工作表明了简化的新概念在结构矩阵理论中的有效性。 他们提出的方法可以扩展到各种其他结构化矩阵类，包括与多维卷积[34]有关的块级和多级Toeplitz样[33]矩阵。
缺点：这种方法的一个潜在问题是结构约束会导致精度损失，因为约束可能会给模型带来偏差。另一方面，很难找到一个合适的结构矩阵。 没有理论推导出来。
2 低秩分解与稀疏性
使用矩阵/张量分解以估计深层 CNN 中最具信息量的参数。
CNN中的耗时主要来自卷积运算，减少卷积层会提高压缩率以及整体加速。一个典型的 CNN 卷积核是一个 4D 张量，需要注意的是这些张量中可能存在大量的冗余。而基于张量分解的思想是减少冗余的很有潜力的方法。全连接层也可以当成一个 2D 矩阵，同样可以进行低秩分解。
长时间以来，使用低阶滤波器来加速卷积，例如高维DCT（离散余弦变换）和使用张量积的小波系统分别由1D DCT变换和1D小波构成。Rigamonti et al. [35]提出学习可分离的1D滤波器，遵循字典学习的想法。关于一些简单的DNN模型，在[36]中提出了一些卷积核的低秩近似和聚类方案。 他们为单个卷积层实现了2倍的加速，分类精度下降了1％。在[37 ]中提出了不同的张量分解方案，在文本识别中有4.5×加速，精度下降了1%。低秩近似是逐层完成的，在一个层经过低秩滤波器近似之后，该层的参数就被固定了，而之前的层已经用一种重构误差标准微调过。这是压缩 2D 卷积层的典型低秩方法，如图所示
全连接层可视为2D矩阵，因此上述方法也可应用于此。关于在完全连接的层中利用低秩的几个经典work，例如Misha et al. [40]使用低秩方法减少了深层模型中的动态参数数量。 [41]探索DNN中最终加权层的低阶矩阵分解以进行声学建模
设计特殊结构的卷积滤波器以减少存储和计算的复杂度。
CNN对输入图像的特征提取具有一定的旋转平移不变的性质，这是能够训练非常深的网络的关键，不会出现严重的过拟合，虽然目前还缺少一个强有力的理论，但有大量实证支持，即平移不变性质和参数共享对良好的预测结果是很重要的。使用转移卷积滤波(transferred convolutional filters )器来压缩CNN模型的想法是由[42]的工作所推动的，它引入了等变群理论(equivariant group theory )。使 x 作为输入，Φ(·) 作为网络或层，T (·) 作为变换矩阵。则等变概念可以定义为：
使用变换矩阵 T (·) 转换输入 x，然后将其传送至网络或层Φ(·)，其结果和先将 x 映射到网络再变换映射后的表征结果一致。根据该理论，将变换矩阵应用到层或滤波器Φ(·) 来对整个网络模型进行压缩是合理的。
缺陷：将迁移信息应用到卷积滤波器的方法需要解决几个问题。首先，这些方法的性能可与宽/平坦的架构（如 VGGNet）相媲美，但是无法与较窄/特殊的架构（如 GoogleNet、Residual Net）相比。其次，迁移假设有时过于强大以致于无法指导算法，使得在某些数据集上的结果不稳定。
据我们所知，Caruana et al.[49] 首先提出利用知识迁移（KT）来压缩模型。他们通过集成强分类器标注的伪数据训练了一个压缩模型，并再现了原大型网络的输出结果。然而他们的工作仅限于浅层网络。这个想法近来在 [50] 中扩展为知识精炼（Knowledge Distillation/KD），它可以将深度和宽度的网络压缩为浅层模型，该压缩模型模仿了复杂模型所能实现的功能。KD 的基本思想是通过软 softmax 学习教师输出的类别分布而降大型教师模型（teacher model）的知识精炼为较小的模型。
[51] 中的工作引入了 KD 压缩框架，即通过遵循学生-教师的范式减少深度网络的训练量，这种学生-教师的范式即通过软化教师的输出而惩罚学生。该框架将深层网络（教师）的集成压缩为相同深度的学生网络。为了完成这一点，学生学要训练以预测教师的输出，即真实的分类标签。尽管 KD 方法十分简单，但它同样在各种图像分类任务中表现出期望的结果。[52]中的工作旨在通过利用深度神经网络来解决网络压缩问题。 它提出了一种方法来训练薄而深的网络，称为FitNets，以压缩宽而浅（但仍然很深）的网络。 该方法扩展了思路，以允许更薄更深的学生模型。 为了从教师网络的中间表现中学习，FitNet使学生模仿了教师的全部特征地图。 但是，这样的假设太严格了，因为师生的能力可能差别很大。 在某些情况下，FitNet可能会对性能和收敛性产生不利影响。 所有上述方法都在MNIST，CIFAR-10，CIFAR-100，SVHN和AFLW基准数据集上进行了验证，仿真结果表明这些方法匹配或超过教师的表现，而要求显着减少参数和乘法。
缺点：基于 KD 的方法能令更深的模型变得更加浅而显著地降低计算成本。但是也有一些缺点，例如 KD 方法只能用于具有 Softmax 损失函数分类任务，这阻碍了其应用。另一个缺点是模型的假设有时太严格了，以至于其性能有时比不上其它方法。
讨论与挑战
深度模型的压缩和加速技术还处在早期阶段，目前还存在以下挑战：
1、大多数目前的顶尖方法都建立在设计完善的 CNN 模型的基础上，这限制了改变配置的自由度(例如，网络结构和超参数)。为了处理更加复杂的任务，还需要更加可靠的模型压缩方法。
2、剪枝是一种压缩和加速 CNN 的有效方式。目前大多数的剪枝技术都是以减少神经元之间的连接设计的。另一方面，对通道进行剪枝可以直接减小特征映射的宽度并压缩模型。这很有效，但也存在挑战，因为减少通道会显著地改变下一层的输入。确定这类问题的解决方式同样很重要。
3、正如之前所提到的，结构化矩阵和迁移卷积滤波器方法必须使模型具有人类先验知识，这对模型的性能和稳定性有显著的影响。研究如何控制强加先验知识的影响是很重要的。
4、知识精炼(knowledge distillation/KD)方法有很多益处比如不需要特定的硬件或实现就能直接加速模型。开发基于 KD 的方法并探索如何提升性能仍然值得一试。
5、多种小型平台(例如，移动设备、机器人、自动驾驶汽车)的硬件限制仍然是阻碍深层 CNN 扩展的主要问题。如何全面利用有限的可用计算资源以及如何为这些平台设计特定的压缩方法仍然是个挑战。
参考机器之心https://www.jiqizhixin.com/articles/2017-10-29