SIFT & GLCM & LBP & HOG

SIFT

Scale invariant feature Transform,尺度不变特征变换。目的是解决低层次特征提取及其图像匹配。在空间尺度中寻找极值点,并提取出其位置、尺度、旋转不变量。

特点:

1. SIFT特征是局部特征,其对旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变换、噪声也保持一定程度的稳定性;

2. 独特性好,信息量丰富,适用于在海量特征数据库中进行快速、准确的匹配(检索);

3. 多量性,即使少数的几个物体也可以产生大量的SIFT特征向量;

4. 高速性,经优化的SIFT匹配算法甚至可以达到实时的要求;

5. 可扩展性,可以很方便的与其他形式的特征向量进行联合。

SIFT四步:
1.尺度空间极值检测:搜索所有尺度上的图像位置。通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。

2. 关键点定位:在每个候选的位置上,通过一个拟合精细的模型来确定位置和尺度。关键点的选择依据于它们的稳定程度。

3. 方向确定:基于图像局部的梯度方向,分配给每个关键点位置一个或多个方向。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换,从而提供对于这些变换的不变性。

4. 关键点描述:在每个关键点周围的邻域内,在选定的尺度上测量图像局部的梯度。这些梯度被变换成一种表示,这种表示允许比较大的局部形状的变形和光照变化。

关键点特征描述

通过以上步骤,对于每一个关键点,拥有三个信息:位置、尺度以及方向。接下来就是为每个关键点建立一个描述符,用一组向量将这个关键点描述出来,使其不随各种变化而改变,比如光照变化、视角变化等等。这个描述子不但包括关键点,也包含关键点周围对其有贡献的像素点,并且描述符应该有较高的独特性,以便于提高特征点正确匹配的概率。 SIFT描述子是关键点邻域高斯图像梯度统计结果的一种表示。通过对关键点周围图像区域分块,计算块内梯度直方图,生成具有独特性的向量,这个向量是该区域图像信息的一种抽象,具有唯一性。

Lowe建议描述子使用在关键点尺度空间内4*4的窗口中计算的8个方向的梯度信息,共4*4*8=128维向量表征。



GLCM

Gray-Level Co-occurrence Matrix,灰度共生矩阵。她是像素距离和角度的矩阵函数,它通过计算图像中一定距离和一定方向的两点灰度之间的相关性,来反映图像在方向、间隔、变化幅度及快慢上的综合信息。

通过计算两灰度值在图像中某个方向相邻的次数而得到的,GLCM中的每一个元素(i, j)代表灰度i与灰度j在图像中这个方向相邻的次数。下图为相邻的方向,[0 D]0°/水平方向,[-D D]45°方向,[-D 0]90°方向,[-D -D]135°方向。
灰度共生矩阵的计算

此图像只有三种灰度,故灰度级为3,灰度共生矩阵是一个3*3的矩阵,然后数某个方向两个像素相连的次数。当然这种方法是简单易懂的方法。




下面是计算机的公式法求灰度共生矩阵

最后提取特征,矩阵的特征量:

一、灰度共生矩阵

1.对角元素较大,图像像素有相似的像素值;

2.偏离对角线的元素比较大,像素灰度在局部有较大变化。

二、对比度(contrast)

con越大,纹理沟纹越深,视觉效果越清晰
           
三、相关度(inverse different moment)
灰度共生矩阵元素在行或列方向上的相似程度,元素值均匀相等,相关值越大;矩阵像元值相差很大则相关值小。
         
四、能量

灰度共生矩阵元素值的平方和,反映图像灰度分布均匀程度和纹理粗细度。ASM值大表明均一和规则变化的纹理模式。

            

五、熵(entropy)
1.物体的规则度,越有序熵越小,越无序熵越大。
2.表示图像信息量,当共生矩阵中所有元素有最大的随机性、空间共生矩阵中所有值几乎相等时,共生矩阵中元素分散分布时,熵较大。它表示了图像中纹理的非均匀程度或复杂程度。
          
六、自相关(correlation)

图像纹理的一致性。如果图像中有水平方向纹理,则水平方向矩阵的COR大于其余矩阵的COR值。

当灰度级较大时,是一个庞大的矩阵。对于一般的灰度图,灰度级就有256,那么中就有个元素,如此庞大的矩阵会使后续的计算量增加,所以灰度共生矩阵一般要经过处理以减少灰度级数,比如通过分析纹理图像直方图,在不影响图像纹理质量的前提下,经过适当的变换压缩灰度级。


LBP

Local Binary Pattern,局部二值模式。是一种用来描述图像局部纹理特征的算子;它具有旋转不变性和灰度不变性等显著的优点。由T. Ojala, M.Pietikäinen, 和D. Harwood 94年提出,用于纹理特征提取。提取的特征是图像的局部的纹理特征

1. 图小的时候,如3*3,就是低于中间像素的为0,大于中间像素的为1

2. 任意邻域,圆形采样点数为P时,那么LBP将产生2P种LBP值,太多了,然后引入等价模式,当循环0到1或1到0最多有两次跳变时,该LBP所对应的二进制就称为一个等价模式类。

具体步骤:

1.将图片划分为16×16的小区域(cell);

2.对于每个cell中的一个像素,将相邻的8个像素的灰度值与其进行比较,大于它为1小于它0,3*3邻域内的8个点经比较可产生8位二进制数,即LBP值;

3.计算每个cell的直方图,即每个数字(假定是十进制数LBP值)出现的频率;

4.然后对该直方图进行归一化处理。

5.最后将得到的每个cell的统计直方图进行连接成为一个特征向量,也就是整幅图的LBP纹理特征向量,最后分类。


HOG

Histogram of Oriented Gradient,梯度方向直方图,物体检测的特征描述子,计算和统计图像局部区域的梯度方向直方图来构成特征。适合行人检测,法国人Dalal05CVPR上提出。

方法:图像分成小的连通区域,采集小区域中各像素点的梯度的或边缘的方向直方图,把这些直方图组合起来就可以构成特征描述器。

步骤:

1. 图像归一化(Gamma校正法),调节对比度,提高检测器对光照的鲁棒性,抑制噪音的干扰;

鲁棒Robust,健壮强壮之意,控制系统在一定(结构,大小)的参数摄动下,维持其它某些性能的特性。2种,稳定鲁棒性、性能鲁棒性。

2. 利用一阶微分计算图像梯度,捕获轮廓信息,进一步弱化光照的干扰;

图像看成二维离散函数,图像梯度是这个二维离散函数的导数,

G( x , y ) = dx( i , j ) + dy( i , j );   //图像梯度

dx( i , j ) = I( i+1 ,j ) - I( i , j );

dy( i , j ) = I( i , j+1 ) - I( i , j );

其中,I是图像像素的值(如:RGB值),( i , j )为像素的坐标。

也可以用中值差分:

dx( i , j ) = [ I( i+1 , j ) - I( i-1 , j )] / 2;

dy( i , j ) = [I( i , j+1 ) - I( i , j-1 )] / 2;

图像边缘一般都是通过对图像进行梯度运算来实现的。

3.将图像划分成小cells;

4.统计每个cell的梯度直方图,即可形成每个cell的descriptor;

5.将每几个cell组成一个block,一个block内所有cell的特征descriptor串联起来便得到该block的HOG特征descriptor。

实验表明,block为矩形,cell梯度方向取0°~180°,梯度分布平均分成9个方向角度(orientation bins)时检测结果较好,即每个cell有9维特征。 

                         


6.将图像image内的所有block的HOG特征descriptor串联起来。

Dalal提出的Hog特征提取的过程:把样本图像分割为若干个像素的单元(cell),把梯度方向平均划分为9个区间(bin),在每个单元里面对所有像素的梯度方向在各个方向区间进行直方图统计,得到一个9维的特征向量,每相邻的4个单元构成一个块(block),把一个块内的特征向量联起来得到36维的特征向量,用块对样本图像进行扫描,扫描步长为一个单元。最后将所有块的特征串联起来,就得到了人体的特征。例如,对于64*128的图像而言,每16*16的像素组成一个cell,每2*2个cell组成一个块,因为每个cell有9个特征,所以每个块内有4*9=36个特征,以8个像素为步长,那么,水平方向将有7个扫描窗口,垂直方向将有15个扫描窗口。也就是说,64*128的图片,总共有36*7*15=3780个特征。

HOG的优点:

HOG表示的是边缘(梯度)的结构特征,因此可以描述局部的形状信息;

位置和方向空间的量化一定程度上可以抑制平移和旋转带来的影响;

采取在局部区域归一化直方图,可以部分抵消光照变化带来的影响。

由于一定程度忽略了光照颜色对图像造成的影响,使得图像所需要的表征数据的维度降低了。而且由于它这种分块分单元的处理方法,也使得图像局部像素点之间的关系可以很好得到的表征。

HOG的缺点:

描述子生成过程冗长,导致速度慢,实时性差;

很难处理遮挡问题。由于梯度的性质,该描述子对噪点相当敏感。

猜你喜欢

转载自blog.csdn.net/jh0lmes/article/details/80086148
LBP
今日推荐