- 摘要
在本文中，我们提出了一个简单而通用的框架，用于训练非常微小的CNN（例如，通道数减少到1/32的VGG）用于目标检测。由于表示能力有限，为检测等复杂任务训练非常小的网络具有挑战性。据我们所知，我们称为Quantization Mimic的方法是第一个专注于非常小的网络的方法。我们使用两种类型的加速方法：模仿和量化。 Mimic通过从教师网络传输知识来提高学生网络的性能。量化将全精度网络转换为量化网络，而不会降低性能。如果教师网络被量化，则学生网络的搜索范围将更小。使用量化的这个特征，我们提出量化模拟。它首先量化大型网络，然后模拟量化的小型网络。量化操作可以帮助学生网络更好地匹配教师网络中的特征映射。为了评估我们的方法，我们在各种流行的CNN上进行实验，包括VGG和Resnet，以及不同的检测框架，包括更快的R-CNN和R-FCN。 Pascal VOC和WIDER FACE上的实验验证了我们的量化模拟算法可以应用于各种设置，并且在给定有限计算资源的情况下优于最先进的模型加速方法。
- 简介
在本文中，我们提出了一种利用量化和模拟方法的优势来训练非常小的网络的新方法。 图1说明了pipeline。 量化操作应用于教师模型和学生模型的特征图。 教师模型的量化特征图用作学生模型的监督。 我们建议这种量化操作可以促进两个网络之间的特征映射匹配，并使知识转移更容易。
总之，本文的贡献如下：
- 我们提出了一种有效的算法来训练非常小的网络。 据我们所知，这是第一项专注于非常小的网络的工作。
- 我们利用量化特征图来促进知识提取，即量化和模仿。
- 我们使用复杂的任务对象检测而不是图像分类来验证我们的方法。 对各种CNN，框架和数据集的充分实验验证了我们的方法是有效的。
- 该方法易于实施，在训练和推理过程中没有特殊限制。
- 本文提出的方法
- 量化
在本节中，我们首先介绍我们单独使用的量化方法和模拟方法，然后将它们组合起来并提出Quanzition Mimic算法的流程。 在后面小节中，我们展示了对我们方法的理论分析。
我们使用量化来限制范围并帮助模仿学习。 具体来说，教师网络的量化是对其输出进行离散化，同时我们可以保证教师网络在量化时的准确性。 量化学生网络的输出可以帮助它匹配教师网络的离散输出，这是模仿学习的目标。 在我们的工作中，我们在教师网络的最后一个激活层进行量化操作。
量化函数定义如下
其中f是特征图。 图2说明了量化的ReLU函数。
- 模拟
在流行的CNN检测器中，来自特征提取器（例如VGG，Resnet）的特征图将同时具有定位和分类准确性。 我们使用L2重新表达让学生网络从教师网络中学习特征图，并利用Li等人[4] 联合训练版本作为我们的支柱。 与尺寸等于类别数量的软目标[35]不同，特征图的尺寸与输入和网络结构的大小有关。 有时数字可能是数百万。 简单地模仿整个特征图是学生网络收敛的难点。 更快的R-CNN [38]和R-FCN [37]是基于区域的检测器，它们都使用RoI-Pooling操作。 所以对该区域的兴趣比其他地区发挥更重要的作用。 我们在学生感兴趣的区域和教师特征图之间使用模仿学习。 模拟学习的整个损失函数描述如下：
- 量化模仿
我们算法的流程如下：首先我们训练一个全精度的教师网络。 然后我们使用函数Q将全精度教师网络压缩到量化网络。 为了获得高性能的压缩模型，我们对全精度网络进行了微调。 最后，我们利用量化教师网络以模拟损失作为监督来教学生网络。 在训练期间，我们都量化了师生网络的特征图。 图3说明了我们的方法。
其中，Q函数见公式（1）
