> 基于内容的图像检索,图像搜索引擎
LIRe提供的6种图像特征描述方法的评测- https://blog.csdn.net/leixiaohua1020/article/details/12854597
LIRE（Lucene Image REtrieval）提供一种的简单方式来创建基于图像特性的Lucene索引。利用该索引就能够构建一个基于内容的图像检索(content- based image retrieval，CBIR)系统，来搜索相似的图像。LIRE使用的特性都取自MPEG-7标准： ScalableColor、ColorLayout、EdgeHistogram。
Rui Gan等人在论文《Using LIRe to Implement Image Retrieval System Based on Multi-Feature Descriptor》中，测试了开源基于内容的图像检索类库LIRe的各种图像特征的性能。LIRE（Lucene Image REtrieval）提供一种的简单方式来创建基于图像特性的Lucene索引。利用该索引就能够构建一个基于内容的图像检索(content- based image retrieval，CBIR)系统，来搜索相似的图像。LIRE使用的特性都取自MPEG-7标准： ScalableColor、ColorLayout、EdgeHistogram，目前已经支持其他更多的特性。此外该类库还提供一个搜索该索引的方法。
-- 图像检索
有四种基于内容的图像分类方法，即颜色、纹理、形状和空间关系。
目前，提取颜色特征己经成为几乎所有基于内容图像分类技术的重要手段。由于颜色是物体必备的视觉特性，同一类物体一般会有相似的色彩特征，所以人们就根据这一点用色彩来对图像内容进行区分。颜色直方图在很多图像分类和检索系统中被广泛使用，得到了研究人员的普遍关注。
颜色矩(ColorMoments)是由Strieker等人提出的。它的主要思想就是用矩来表示图像中各种颜色的分布，再使用不同颜色分量的统计参数作为参量。低阶矩集中了颜色分布的主要信息，因而图像颜色分布的情况可以釆用颜色一阶矩、二阶矩、三阶矩表示出，更高阶的矩中几乎不会含有颜色信息。其中，一阶矩能够表示出图像的整体概况，即均值信息；二阶矩能够表示出图像细节变化，即方差信息；三阶矩能够表示出该幅图像的斜度信息。
纹理特征也是图像特征提取中一个非常重要的技术，它能够描绘出物体表面所具有的内在规律与结构。其基本的研究方法就是利用像素点的灰度值来找出图像中像素分布的规律。最早的提取纹理特征的方法就是Haralick等的灰度共生矩阵。EHD也是MPEG-7标准纹理描述符的一种。EHD提供了5种纹理边缘类型：垂直边缘的纹理，水平边缘的纹理、45度边缘的纹理、135度边缘的纹理、无方向边缘的纹理。
在图像特征提取中，研究者普遍认为形状是一个描绘轮廓的封闭曲线所包围的区域。根据学者们多年来的研究与实践，目前，主要有两大类描述形状特征的方法：基于边界特征方法和基于区域特征方法。基于边界的形状特征提取方法主要有傅里叶描述符、边界矩和边界方向直方图，基于区域的形状特征提取方法主要是不变矩。形状特征与颜色和纹理特征不同，必须先对图像中对象的边缘和区域进行分割和提取，在其实现方法上有一定的困难。
-- 图像检索：几种基于纹理特征的图像检索算法
灰度共生矩阵是分析纹理特征的一种有效方法，该方法研究了图像纹理中灰度级的空间依赖关系。它对灰度的分布特性是通过对灰度值不同的像素的分布来表示的，同时这些像素对空间位置关系和分布特性也得到了体现。主要过程是，以像素对的方向和距离为变化量建立共生矩阵，再从此矩阵中提取可以表征图像内容的统计量(能量、熵、惯性矩、相关量)作为纹理特征。这样的过程满足检索准确度的情况下，降低了计算量。
基于共生矩阵的图像检索过程为：
(1)将图像库中的所有图像进行灰度量化，由原来的256级变化到16级；
(2)构造四个方向上的灰度共生矩阵，这四个方向分别是水平、垂直、对角线、反对角线，用数学式表示为0 °, 45 °, 90 °, 135°；
(3)构造出特征向量。将特征向量存在特征矩阵中，特征矩阵的每一列为一幅图像的特征向量，表示的是一幅图像。特征向量是由每幅图像的四个共生矩阵的四个特征参数的均值和方差所构成的；
(4)对特征矩阵进行高斯归一化；
(5)使用步骤(1)-(4)计算归一化后的待查询图像的特征向量；
(6)利用欧氏距离来进行相似度测量，将示例图与特征矩阵中所有的特征向量进行匹配。
因为由灰度共生矩阵的统计特性得到的纹理特征与人类的视觉感知没有建立对应关系，Tamura等人提出了纹理特征的6种属性，分别为对比度、粗糙度、方向度、规整度、线性度和粗略度，其中前三者作用较大。
1946年 Gabor 博士提出了最早的通过高斯函数加上频移后产生的 Gabor 函数。Gabor 滤波器组在多分辨率方面比小波优点突出，并已经证明 Gabor 变换在 2D 测不准(时间分辨率和频率分辨率是一对矛盾的量)的情况下，对信号的频率域和空间域能够最优描述。Gabor 特征已经应用在很多图像分析中。
小波分析是 1980 年发展起来的一门新的数学分析工具，由于其良好的多尺度分析特性，包括正交性、紧支撑性、消失矩和对称性，近年来取得了巨大的发展，在医学成像、信号分析方面起了推动作用被广泛应用在图像检索领域中,例如可以用于图像压缩，图像融合，图像增强等。
傅里叶变换已经广泛的使用在图像处理研究中，它的优点之一是强调了图像所包含的主要频域和主要方向；另一个优点是，频域特征比空域特征有更好的抗噪性。如果可以充分利用傅里叶的这些优点，会节约资源，同时提高运算速度。
将频域分割为扇形区域的优点是能在频域获得对能量谱更加准确的描述。每个扇形都描述了纹理的大量方向度和粗糙度，它可以综合环形与楔形区域的优点，这样在图像的检索过程中有大量的信息可以使用，同时提高检索的效率。第二个优点就是利用傅里叶变换的对称性的特性可以只计算傅里叶空间的一半，这样可以减少总的计算时间。大家都知道，提高检索的效率对于用户来说比较重要，如果可以快速准确的得到用户所需要的图像，这就是图像检索的最终目标。
-- LIRe提供的图像检索算法的速度.LIRe的作者Mathias Lux发表的论文《LIRe: Lucene Image Retrieval - An Extensible Java CBIR Library》。主要介绍了LIRe的功能。
在LIRe中主要实现的图像特征有：
1.RGB和HSV空间的颜色直方图；
2.MPEG-7的颜色特征，包括Scalable color，Color layout和Edge Histogram；
3.Tamura纹理特征，包括粗糙度（Coarseness），对比度（Contrast）和方向度（Directionality）；
4.颜色和边缘的方向性描述符（Color and edge directivity descriptor, CEDD）；
5.模糊颜色和纹理直方图（Fuzzy color and texture histogram, FCTH）；
6.颜色关联图（Auto color correlation）；
7.尺度不变特征变换（Scale-invariant feature transform , SIFT）。
图像检索：CEDD（Color and Edge Directivity Descriptor）算法，颜色和边缘的方向性描述符（Color and Edge Directivity Descriptor，CEDD）。CEDD具有抽取特征速度较快，特征描述符占用空间较小的优势。CEDD特征结合了颜色和纹理两方面信息。
图像检索：CEDD（Color and Edge Directivity Descriptor）算法- https://blog.csdn.net/leixiaohua1020/article/details/16883379
RGB颜色模型的设计是根据色彩发光原理而来的，且与硬件相关，一般情况下，计算机都会釆用这种空间模型在屏幕上显示某种颜色的定义，即人们所熟悉的三色组合。所以，当从一幅图像中提取像素点时首先提取的一般也是像素点的RGB信息。
HSV模型中，H （Hue）代表色调，指通过物体传播或从物体射出的颜色，一般在使用中是由颜色名称来标识的。S （Saturation）代表饱和度，表示色调中灰色成分的比例，指颜色的纯度或强度。V （Value）代表亮度，指颜色相对的明暗程度。HSV模型能够较好地反应人对颜色的感知和鉴别能力，所以非常适合于比较基于颜色的图像相似性，在图像分类中也得到了广泛应用。在提取颜色信息前就需要对图像像素进行RGB-HSV的模型转换。
10-bins模糊过滤器是基于模糊理论的。10-bins模糊过滤器的工作过程是通过三个通道输入HSV信息，然后输出10个模糊的直方图信息值。10个直方图信息值的含义如下：（0）黒色（Black），（1）灰色（Gray），（2）白色（White），（3）红色（Red）, （4）橙色（Orange），（5）黄色（Yellow），（6）绿色（Green），（7）青色（Cyan），（8）蓝色（Blue），（9）品红色（Magenta）。
24-bins模糊过滤器就是将10-bins模糊过滤器输出的每种色区再分为3个H值区域，输入一个10维向量和S、V通道值，输出的是一个24维向量，其系统模型如图3-7所示。它输出的每一维所代表的信息分别是：（0）黑色（Black），（1）灰色（Grey），（2）白色（White），（3）暗红色（Dark Red），（4）红色（Red），（5）浅红（Light Red）,（6）暗橙色（DarkOrange），（7）橙色（Orange），（8）浅橙色（Light Orange），（9）暗黄色（Dark Yellow），（10）黄色（Yellow）, （11）浅黄色（LightYellow），（12）深绿色（Dark Green），（13）绿色（Green），（14）浅绿色（Light Green），（15）暗青色（Dark Cyan），（16）青色（Cyan），（17）浅青色（Light Cyan），（18）深蓝色（Dark Blue）,（19）蓝色（Blue），（20）淡蓝色（LightBlue），（21）暗品红色（DarkMagenta），（22）品红色（Magenta），（23）浅品红色（Light Magenta）。
YIQ色彩空间属于NTSC （国际电视标准委员会）系统。Y（Luminace）代表了颜色的明视度，直观点说就是图像的灰度值。I和Q （Chrominace）代表了色调信息，它们分别描述图像色彩以及饱和度的属性。在YIQ色彩空间模型中，Y分量表示图像的亮度信息，I和Q分量表示颜色信息，I分量是指从橙色到青色，Q分量则是指从紫色到黄绿色。
图像检索：图像相似性度量
图像检索的性能不仅依赖于所抽取的图像特征，在颜色、纹理和形状等图像特征被提取出并建立起索引后，图像检索的关键就在于所采用的相似度量(或距离度量)函数。它直接关系到图像检索的结果和检索效率。
基于文本的检索方法采用的是文本的精确匹配，而基于内容的图像检索系统是一种非精确的匹配，通过计算查询示例图像和候选图像之间视觉特征的相似度来完成。在颜色、纹理和形状等图像特征被提取出来后，形成特征向量，就可以用这个特征向量来表征对应的图像。在图像检索中，判断图像之间是否相似是通过比较这些特征向量是否相似来进行的。即把图像特征向量之间的比较就看成是图像相似度比较。显然，一个好的特征向量比较算法对图像检索结果影响很大的。
常用的图像相似度度量方法都是基于向量空间的模型，即将图像特征看作是向量空间中的点，通过计算两个点之间的距离接近程度来衡量图像特征间的相似性。特征的相似度匹配算法是跟特征值提取方法紧密相关的，颜色、纹理、形状的特征提取都有相对比较合适的相似度量算法。
常见的基于颜色特征的相似度量计算方法主要有绝对值距离、欧式距离、直方图相交法、x平方的距离、参考颜色表、中心矩等。
直方图相交法(histogram intersection)是由 Swain 等人于 1991 年首次提出的，直方图相交法计算简单快速并且能较好地抑制背景的影响。常见的基于纹理特征的相似度量计算方法主要有欧式距离和马氏距离等。其中欧式距离与颜色特征检索的欧式距离度量方法相同。
图像检索：FCTH（Fuzzy Color and Texture Histogram）算法，模糊颜色和纹理直方图（Fuzzy Color and Texture Histogram，FCTH）。
图像检索：基于形状特征的算法。形状通常与图像中的特定目标对象有关，是人们的视觉系统对目标的最初认识，有一定的语义信息，被认为是比颜色特征和纹理特征更高一层的特征。形状描述的准确与否是决定图像检索算法优劣的重要因素，一个好的形状描述符应具备独特性、完备性、几何不变性、灵活性以及抽象性。形状的描述符大体可以分为两大类：第一类是描述形状目标区域边界轮廓的像素集合，称为基于轮廓的形状描述符；第二类称为基于区域的形状描述符，是对形状目标区域内所有像素集合的描述。
镜头分割：像素域方法综述。基于像素的镜头分割主要是对视频帧的图像底层处理过程，包括亮度、灰度或者色彩值，其计算简单，原理是计算两帧之间的每个对应的像素的灰度(亮度)的变化。
基于直方图的算法是最普遍的分割方法，它实现简单方便，而且对于大多数视频能得到较好的效果。基于直方图的算法是在基于像素的比较上发展来的，基于直方图的算法通常是将相邻帧之间的各个像素的灰度、亮度等分为N 个等级，再针对每个等级统计像素数做成直方图比较，给出两个图像的直方图