1 问题所在：
学习有效的特征表示和相似度测量对CBIR系统的性能是至关重要的。虽然相关的研究已经进行了几十年，但一些关键的问题依然阻碍着CBIR系统的发展。最关键的挑战在于低级机器表示的图片像素和高级人类概念理解之间的语义鸿沟。最近几年，机器学习和深度学习发展迅猛，这种技术有可能填补上述所说的语义鸿沟。
2 本文要研究的主题：
如果深度学习有希望填补语义鸿沟，那么应用最新的深度学习技术进行特征提取和相似性度量，CBIR的性能能提升多少？
我们应用了一些框架，并且采用不同的模型参数进行实验，得到了一些振奋人心的结果，下面进行一些总结。
3 介绍
虽然深度学习已经广泛应用于图像分类和识别，但它在图像检索领域的应用还是比较少的。在论文中，我们将把深度学习应用于图像特征表示和相似度测量中。特别地，我们将讨论解决以下问题：
（1）关于从图像中提取好的特征，使用深度学习方法处理基于内容的图像检索问题是否有效？
（2）在系统中使用深度学习技术和传统方法相比可以取得多少进步？
（3）怎样有效把一个训练好的深度学习模型应用在一个新的领域的CBIR问题中？
为了回答上述问题，我们应用了深度学习中最先进的技术——CNN方法。实验以后，对结果总结如下：
（1）深度学习，卷积神经网络能很有效的提取图像特征。
（2）我们使用多种参数，对许多应用了深度学习的CBIR任务进行了全面评估。
4 深度学习与CBIR
4.1 使用的CNN网络是AlexNet网络
4.2 为了把一个训练好的CNN模型应用于特征表示，我们把三个全连接层（fc1,fc2,fc3）的输出作为提取的特征。我们不用更低的层提取特征，因为他们不太可能比高层包含更多的语义信息。上面讨论的直接特征生成方法也许对用于训练这个模型的数据集是有效的，但是对于一个新的数据集，他就很可能表现得不怎么样。这里要解决的问题有两个，（1）如何把分类问题训练的模型应用到图片检索问题？（2）如何把训练好的CBIR任务的CNN模型应用到一个新的检索任务中？
下面我们详细讨论三种特征生成模式：
4.2.1 直接特征表示
假设搜索域和训练的数据集相同，直接特征表示就是上述讨论的方法，最后我们还要把特征归一化，比如:L2→L2-norm
4.2.2 使用相似性学习优化
在这里我们不直接提取特征，而是使用相似性学习来优化4.2.1提取的特征。很多相似性学习算法和距离度量算法可以在这里应用。在这里使用最先进的在线相似度学习算法：OASIS。——即：度量学习，三元组学习，可以在网上找到资料：
4.2.3 重新训练
（1）用类标签精炼
除了最后一层外，所有其他层都初始化为原来的模型的参数，然后再用新的数据集开始训练。
（2）用边信息精炼
把相似性度量学习和卷积神经网络结合，然后开始训练。
5 介绍了一些数据集
6 实验
实验用mAP，P@K(the precision in particular ranks)，R@K(the recall at perticular ranks)
在这些不同的数据集上进行实验：ImageNet,Caltech256,Oxford and Paris datasets,Pubfig83LFW(人脸识别的一个数据集)。
7 结论
（1）在很大的数据集上训练好的卷积神经网络模型可以直接对新的CBIR任务进行特征提取。
（2）用（1）的办法有可能好于传统办法，也有可能没有传统办法好。但经过合适的模型重训练调整办法以后，用深度学习提取到的特征的表现总是比传统方法好。
（3）当应用到一个新领域时，用相似性学习处理提取到的特征可以大大提高CBIR的性能
（4）最后，通过把相似性学习和模型重新训练结合起来，这个的性能表现是最好最优越的。