CVPR
1、Deep Learning with Low Precision by Half-wave Gaussian Quantization
对流行的二进制量化方法的研究发现，它由两个函数对经典的非线性和双线性正切函数的近似组成：一个用于前馈网络计算的分段常量信号函数和一个在神经网络学习时用于后向传播的分段线性硬tanh函数。随后广泛使用的ReLU非线性的问题被提出。用于前向近似的半波高斯量化器(HWGQ)被剔除了，它利用神经网络激活层的统计信息和批量归一化，能够高效地部署。为了克服由于在前向和后向传播时使用不同的近似导致的梯度不匹配问题，几个分段的后向传播近似器被提出了。由此产生的量化网络，记为HWGQNet，它的实施被证明比之前提出的有着1位和2位量化激活层的低精度神经网络强，而与全精度的神经网络，如AlexNet、ResNet、GoogleNet和VGG-Net的表现类似。
2、Deep Visual-Semantic Quantization for Efficient Image Retrieval
由于它的计算的高效和恢复的质量，紧凑编码已被广泛地应用在用于大规模图像恢复的近似最近邻方法中。本文提出了一种聚焦于深度学习量化方法的紧凑编码解决方案，它通过端对端的表征学习和紧凑编码来提高恢复的质量，且已在相似性恢复上显出了优于哈希解决方案的性能。
作者提出了Deep Visual-Semantic Quantization(DVSQ)，这是第一个通过标签图像和一般文本域下的语义信息来学习深度量化模型的方法。它主要的贡献在于，将使用精心设计的混合网络和明确指定的损失函数来共同学习深度视觉语义嵌入和视觉语义量化器。DVSQ使用基于有着快速距离查找表的学习的代码本的计算来支持最大inner-product搜索，从而获得高效和有效的图像恢复。综合经验证据表明DVSQ可以产出紧凑的二进制代码，并在benchmark上产出state-of-art的近似恢复表现。
3、Learning Deep Binary Descriptor with Multi-Quantization
在本文中，作者提出了一种用于视觉匹配的学习方法：深度二进制描述器(DBD-MQ)。现有的基于学习的二进制描述器，如紧凑二进制脸部描述器(CBFD)和DeepBit利用了刚性信号函数来二值化——不论数据分布如何，因此导致了严重的量化损失。为了解决这个限制，本文提出的DBD-MQ将二值化视作一个多量化任务。他们使用K-AutoEncoders网络来在一个深度学习框架下共同学习参数和二值化函数，从而使细粒度的多量化可以获得有辨别的二进制描述符。
4、Weighted-Entropy-based Quantization for Deep Neural Networks
量化被认为是最有效的在移动设备和嵌入式系统这样有着严格的资源限制的设备中优化神经网络的推断消耗的方法之一。在这类方法中，最关键的地方在于，要在尽可能不降低精度的情况下(比如不超过1%)，提供更低耗的量化。本文提出了一种新奇的基于权重混乱概念的量化权重和激活层的方法。不同于二元权重的神经网络，作者的方法是多位量化，权重和激活层可以根据目标精确度被量化为任意数量的位。这有助于更灵活地利用由不同等级的量化提供的精度-性能权衡。不仅如此，作者的方案还提供了基于传统训练方法的自动量化流程，这大大减少了量化网络的设计时间。
5、Deep Quantization：Encoding Convolutional Activations with Deep Generative Model
深度卷积网络在视觉识别任务中有着出色的表现，但它的通过卷积层的激活来学习整体的特征还是一个问题。在本文中，作者提出了有着变分自动编码器的Fisher矢量编码，这是一种新的在深度生成模型中通过端对端地方式训练它们来量化本地卷积层的激活的深度结构。为了将FV编码策略加入到深度生成模型，作者引入了变分自动编码模型，它在神经网络中引导变分推理和学习，它可以使用标准随机梯度来直接优化。与传统的将离散混合模型简洁地拟合到数据分布上地生成模型(如高斯混合模型)为特征的FV不同，作者提出的FVVAE能够更灵活地表示神经属性来更好地泛化。
6、Performance Guaranteed Network Acceleration via High-Order Residual Quantization
输入二进制化已被证明是个有效的网络加速方法。然而，先前的二进制化方案可被视作简单的逐元素阈值处理，且在精度上有着巨大的损失。本文提出一个高阶二进制化方案，它在拥有二进制操作的同时仍能保有不错的精度。特别的，该方案递归地执行残差量化且产生了一系列有着递减幅度尺度的二进制输入图像。因此，作者提出了用于前向和后向计算的高阶二进制滤波和梯度传播操作。
7、Compressive Quantization for Fast Object Instance Search in Videos
大多数视觉搜索系统专注于图像到图像(点对点)的搜索，比如图像和目标恢复。然而，快速图像到视频(点到集合)搜寻很少被用到。本文解决了视频的目标即时搜索问题，其中高效的点到集合匹配技术是必不可少的。通过同时优化向量量化和哈希，作者提出了压缩的量化方法，将从每个视频中提出的M个建议的对象压缩为仅仅k个二进制代码，其中k<<M。随后查询的对象与整个视频的相似性可通过查询的对象的二进制代码与图像中与其最匹配的二进制代码的汉明距离确定。作者的压缩量化方法不仅确保了查询的快速，也大大减少了保存图像特征的存储成本。尽管压缩率很高，作者的压缩量化方法仍然能够有效地恢复大的视频数据集中的小的对象。
8、Incremental Network Quantization：Towards Lossless CNNs with Low-Precision Weights
本文介绍了递增网络量化(INQ)，它致力于将任意预训练的卷积神经网络模型转化为权重被限制为2或0的幂的低精度版本。本方法在准确性损失方面有着优异的特点。因为一方面，作者引入了三个相互依赖的操作，即权重划分，分组量化和重训练。采用充分训练的测量来将预训练的CNN模型中每层的权重划分为两个不相交的组。第一组的权重负责形成低精度基数，因此它们可以通过可变长度编码方法来进行量化。另一组的权重则负责弥补由量化导致的精度损失，因此它们要被重训练。另一方面，这三个操作要在最新的重训练组里迭代地进行训练直到所有的权重都被转化为低精度的版本，即为递增网络量化和准确度增强过程。
9、Trained Ternary Quantization
深度神经网络被广泛地应用于机器学习应用中。然而，大型神经网络可能很难部署在功率预算有限的移动设备上。为了解决这个问题，作者提出了训练三元量化(TTQ)，这种方法可以将神经网络中权重的精度降低到三值。它只会降低一点点模型的准确度，有时候甚至还会增加。它训练起来和正常的全精度模型一样容易。作者在文中强调了他们的训练量化方法，即可以同时学习三元值和三元分配。在推断过程中，只需要三元值(2位权重)和缩放因子，因此作者的模型大概是全精度模型的16分之一倍。它还可以被视作是稀疏二元权重网络，有时能够通过定制回路进行加速。
10、Learning Accurate Low-Bit Deep Neural Networks with Stochastic Quantization
低位深度神经网络对嵌入式应用来说很关键，因为它们需要网络对存储和计算的要求很低。然而，它们会受到不可避免的精度下降的影响。本文提出了随机量化(SQ)算法来学习低位DNN。其动机为以下的观察：彼时所有的训练算法在每个迭代时同时近似具有低位表示的实值元素和滤波器。对一些元素和滤波器来说量化错误可能会很小，但对另一些可能就很大，这就会在训练时导致不恰当的梯度方向，从而带来可观的精度下降。为了解决这个问题，SQ将一部分元素和滤波器转化为低位，其随机概率与量化误差成反比，同时保持其它部分保持全精度。在每次迭代时，分别用相应的梯度更新量化了的和保持全精度的部分。SQ比率会逐渐增大，直到所有网络都被量化。这个过程可以很好地弥补量化误差，因此为低位DNN提供更好的精度。
