一、图像特征-harris角点检测
什么是图像角点
角点检测 (Corner Detection) 是图像的重要特征.。角点可以帮助我们实现图像对其, 图像拼接, 目标识别等等重要用途。在角点的地方，无论你向哪个方向移动小图，结果都会有很大的不同。
角点是图像很重要的特征，某方面属性特别突出的点，是在某些属性上强度最大或者最小的孤立点、线段的终点等。对图像图形的理解和分析有很重要的作用。角点在保留图像图形重要特征的同时,可以有效地减少信息的数据量，使其信息的含量很高，有效地提高了计算的速度,有利于图像的可靠匹配,使得实时处理成为可能。
基本原理
Harris 角点检测 (Harris Corner Detection) 是最基础也是最重要的一种角点检测算法, 通过计算图像在 x, y 上平移的自相似性 (Self-Similarity) 来判断图像是否为角点。
角点检测时图像可以分为3个区域，平坦区，边界和角点。取一个区域I(x,y),这个区域在x轴和y轴移动时区域内的灰度变换不大，认为这个区域是平坦区；当这个区域在x轴移动时变换较大，y轴移动时则没有什么变换（或者相反），则认为这个区域为边界；当这个区域在x轴和y轴移动是灰度变换都较大则认为是角点。
上述公式经过一系列的近似化简后可以等效为一个椭圆函数;
这样就可以得到两个λ，λ1和λ2，用两个λ值来等效图像在x轴和y轴变换的快慢，通过比较两个λ值可以判断图像区域是否为角点。
边界：一个特征值大一个特征值小，λ1>>λ2(或者λ12>>λ1),即图像在一个方向变换较大，在另一个方向变化较小。
平面：两个λ值都比较小，且近似相等。即图像在任意方向变化都不大。
角点：λ1和λ2都比较大，且近似相等。即图像在任意方向变化都比较大。
也可以用角点响应值R来判断，当R<0时，认为时边界；当R=0或者接近与0，认识时平坦区；当R>0时，认为时角点。
R = detM-α(traceM)^2
detM = λ1*λ2
traceM = λ1+λ2
α取值为0.04-0.06
代码实现
角点检测函数
cv2.cornerHarris(img,blockSize,ksize,k)
img： 数据类型为 float32 的入图像
blockSize： 角点检测中指定区域的大小
ksize： Sobel求导中使用的窗口大小
k： 取值参数为 [0,04,0.06]
代码：
import cv2
import numpy as np
def show(name,img):
cv2.imshow(name,img)
cv2.waitKey(0)
cv2.destroyAllWindows()
img = cv2.imread('D:/qipan.jpg')
#show("img",img)
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)#灰度图
# gray = np.float32(gray)#转换格式为floa32
dst = cv2.cornerHarris(gray,5,5,0.04)#角点检测
img[dst>0.1*dst.max()]=[0,0,255]#非极大值抑制
show("img",img)
效果：
二、SIFT特征提取
SITF概述
SIFT，即尺度不变特征变换（Scale-invariant feature transform，SIFT），是用于图像处理领域的一种描述。这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子。 该方法于1999年由David Lowe首先发表于计算机视觉国际会议（International Conference on Computer Vision，ICCV），2004年再次经David Lowe整理完善后发表于International journal of computer vision（IJCV）。
图像尺度空间
在一定的范围内，无论物体是大还是小，人眼都可以分辨出来，然而计算机要有相同的能力却很难，所以要让机器能够对物体在不同尺度下有一个统一的认知，就需要考虑图像在不同的尺度下都存在的特点。尺度空间的获取通常使用高斯模糊来实现。
不同σ的高斯函数决定了对图像的平滑程度，越大的σ值对应的图像越模糊。
图像金字塔
一幅图像的图像金字塔是一系列以金字塔形状（自下而上）逐步降低，且来源于同一张原始图的图像分辨率集合。其通过梯次向下采样获得，直到达到某个终止条件才停止采样。我们将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低。图像金字塔可以用与不同层时的特征提取，每层的特征不一样，起到的效果也不一样。
金字塔的每一层都要经过数次高斯滤波。
高斯差分金字塔（DOG）
DoG (Difference of Gaussian) 即高斯差分金字塔, 用在上面的图像金字塔每一层都经过了数次高斯滤波，假设为5次，用前一次减去后一次得到的结果就是高斯差分，金字塔的每一次都是这样的操作的到的结果就是高斯差分金字塔。
DoG空间极值检测
为了寻找尺度空间的极值点，每个像素点要和其图像域（同一尺度空间）和尺度域（相邻的尺度空间）的所有相邻点进行比较，当其大于（或者小于）所有相邻点时，该点就是极值点。如下图所示，中间的检测点要和其所在图像的3×3邻域8个像素点，以及其相邻的上下两层的3×3领域18个像素点，共26个像素点进行比较。
因为后面计算会涉及到大量的数学计算，有需要的可以去看SIFT算法的论文解析，点击《SIFT算法原文解析》。
代码实现
在OpenCV 3.4之后因专利版权问题移除了SIFT/SURF的相关库，申请了专利，好消息是2020年3月17日之后算法SIFT专利到期了，但是直接用原来的接口sift = cv2.xfeatures2d.SIFT_create()是会有警告cv::xfeatures2d::SIFT_create DEPRECATED: cv.xfeatures2d.SIFT_create() is deprecated due SIFT tranfer to the main repository.原因是原来的接口已经弃用，改为sift = cv2.SIFT_create()即可。
代码：
import cv2
import numpy as np
def show(name,img):
cv2.imshow(name,img)
cv2.waitKey(0)
cv2.destroyAllWindows()
img = cv2.imread('D:/gaolou.jpg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)#灰度图
sift = cv2.SIFT_create()#sift算法实例化
kp = sift.detect(gray, None)#关键点检测
img = cv2.drawKeypoints(gray, kp, img)
show("img",img)
#计算特征
kp, des = sift.compute(gray, kp)
print (np.array(kp).shape)
效果：
