1、Cross Domain Model Compression by Structurally Weight Sharing
常规的模型压缩方法专注于RGB输入。然而跨领域任务需要更多的DNN模型，且每个领域也需要它自己的模型。因此，对这样的任务来说，存储成本、内存占用空间和计算成本都相较单个RGB输入显著增加。不仅如此，跨域任务独特的表现和特殊的结构使得我们很难直接在它上面应用常规的压缩方法。本文因此提出一种新的鲁棒的跨领域模型压缩方法。具体来说，它通过结构权重共享来压缩跨领域模型，这通过在训练时使用图像嵌入规范模型来实现。由于每一通道的权重都共享，该方法可以在无需任何特殊设计的算法的情况下减少计算成本。
2、Accelerating Convolutional Neural Networks via Activation Map Compression
深度学习革命给我们带来了很多能在大量计算机视觉任务，如分类、检测和分割中取得优秀表现的神经网络结构。同时，对计算能力和内存的要求也变得前所未有的高，使得神经网络几乎无法在低功率设备中被有效地使用。为此，本文提出了一个三阶段压缩方法以及加速管道来对CNN的激活层进行稀疏、量化和熵编码操作。稀疏化增加了激活层的边打能力，从而加快了推理的速度以及模型的准确率。
3、Efficient Neural Network Compression
网络压缩通过减少参数数量减少了DNN的计算复杂性以及内存消耗。在基于SVD的网络压缩方法中，网络的每一层的轶都要被正确地确定。本文提出了一个获得整个网络的轶配置的高效方法。与先前分别考虑每一层的方法不同，该方法同时考虑整个网络来选择正确的轶配置。作者提出了新颖的准确率度量来表示给定神经网络的准确率和复杂性间的关系。作者以非迭代的方式使用这些度量来获得正确的轶配置，从而在保有足够的准确率的同时，能够满足FLOP和内存的限制。
4、Exploiting Kernel Sparsity and Entropy for Interpretable CNN
Compression
压缩神经网络正受到越来越多的研究关注。然而，大多数现存的压缩网络并不解释其内在结构以辨别其内部冗余。本文从一个可解释的角度研究了CNN的压缩问题。输入的特征图和2D内核之间的关系在该理论框架内被揭示了，基于该框架，作者提出了核稀疏性和熵(KSE)指标来按照特征不可知的方式量化特征图的重要性，从而知道模型压缩。基于KSE指标进一步地进行核聚类来实现高精度的CNN压缩。KSE能够同时高效地同时压缩每一层，这个之前数据驱动的特征图修剪方法相比，要明显的快。
5、Cascaded Projection: End-to-End Network Compression and Acceleration
作者提出了一种数据驱动的DCNN压缩方法，它能在高吞吐量和低内存要求的情况下达到高准确率。其它的网络压缩方法或者找到一个需要更多内存的特征的低轶因数分解或通过修剪整个滤波器通道来仅选择特征的子集特。作者提出了级联投影(CaP)压缩方法来将连续层的输出和输入滤波通道投影到一个基于低轶投影的统一的低维空间上。作者优化了投影来最小化分类损失以及压缩和未压缩网络中下一层功能之间的差异。为了解决这一非凸优化问题，作者提出了新的代理矩阵的优化方法，它使用后向传播和有着几何约束的SGD。
6、ECC: Platform-Independent Energy-Constrained Deep Neural Network Compression via a Bilinear Regression Model
许多支持DNN的视觉应用通常运行在严苛的能量限制下，如无人驾驶飞行器、增强现实耳机和智能手机。设计能够满足严苛的能量预算的DNN正变得非常重要。本文提出了ECC，一个在最小化准确率损失的同时，能够满足给定的能量限制的框架。ECC的关键思想是通过一个新的双线性回归汉书来对DNN的能耗进行建模。这个评估能量消耗的模型允许我们将DNN压缩问题规范为在能量限制下最小化DNN损失函数的约束优化。优化问题有着不普通的约束。因此，现有的深度学习解决方案并不能直接应用。作者提出了一种结合了乘法器交换方向方法(ADMM)框架的本质和基于梯度的学习算法。该算法把原始的约束优化分解为多个可迭代和高效解决的子问题。ECC同样可以轻松地移植到不同的硬件平台上，且具有硬件无关性。
