- 摘要
由于其对高维视觉特征进行编码的有效性，乘积量化已被广泛用于快速图像检索。 通过将硬分配扩展到软分配，我们可以将乘积量化作为卷积神经网络的一层进行合并，并提出我们的乘积量化网络。 同时，我们提出了一种新的非对称triplet损失，它有效地提高了基于非对称相似性的所提出的乘积量化网络的检索精度。 通过所提出的乘积量化网络，我们可以以端到端的方式获得辨别和紧凑的图像表示，这进一步实现了快速和准确的图像检索。 在公共基准数据集上进行的综合实验证明了所提出的乘积量化网络的最新性能。
- 简介
在本文中，我们还尝试将乘积量化结合到神经网络中，并以端到端的方式对其进行训练。我们提出了一种可微分的软乘积量化层，当α→∞时，原始乘积量化是所提出的软乘积量化的特例。与DPQ不同，我们不再需要完全连接的层来获得码本分配，相反，在我们的方法中，码字分配由原始特征和码字之间的相似性确定。因此，与DPQ相比，我们显着减少了要训练的参数数量，使我们的PQN对过度拟合更具免疫力。同时，受到度量学习中triplet loss 的成功以及特征压缩中非对称相似性度量的成功的启发，我们提出了一种新的非对称三元组损耗，以端到端的方式直接优化非对称相似性度量。总之，我们的工作贡献有三方面：
- 我们介绍了一种新颖的软乘积量化层，它是原始乘积量化的一般化版本。 它是可微分的，因此带来了乘积量化网络的端到端训练。
- 我们提出了一种新颖的不对称triplet loss，它直接优化了基于乘积量化带来的不对称距离。 它可以更有效地训练卷积神经网络。
- 由于其简单，有效和高效，我们为图像检索社区提供了强大的baseline。 可以在所提出的框架上进一步构建一些更复杂的图像检索方法。
- 与其他模型的关系
DQN [6]是将乘积量化纳入神经网络的第一次尝试。 它可以优化码字和网络的其他参数。 值得注意的是，在更新码字时，它只通过k均值最小化量化误差。 因此，在学习码字时，忽略监督信息并且解决方案可能是次优的。
SUBIC [16]在深度神经网络中集成了one-hot编码层。 它遵循乘积量化的精神，通过one-hot块的乘积来表示每个图像。 然而，稀疏属性限制了它的表示能力，其表现不如我们。
DPQ [20]是将乘积量化结合到神经网络中的另一种尝试。 它通过两个完全连接的层级联确定码字分配。 相反，我们的方法根据原始特征和码字之间的相似性来确定码字分配。 请注意，DPQ中这两个完全连接层的附加参数不仅增加了训练神经网络的计算复杂度，而且更容易过度拟合。 我们的实验表明，我们提出的PQN明显优于DPQ。
- 模型框架
