【OpenCV特征提取与检测实战-哔哩哔哩】 https://b23.tv/7jCLk1L
目录
特征理解小例子
例如，看以下的图片：
图像非常简单。在图像的顶部，给出了六个小图像块。你的问题是在原始图像中找到这些补丁的确切位置。你可以找到多少正确的结果？
- A和B是平坦的表面，它们散布在很多区域上。很难找到这些补丁的确切位置。
- C和D更简单。它们是建筑物的边缘。你可以找到一个大概的位置，但是准确的位置仍然很困难。这是因为沿着边缘的每个地方的图案都是相同的。但是，在边缘，情况有所不同。因此，与平坦区域相比，边缘是更好的特征，但不够好（在拼图游戏中比较边缘的连续性很好）。
- 最后，E和F是建筑物的某些角落。而且很容易找到它们。因为在拐角处，无论将此修补程序移动到何处，它的外观都将有所不同。因此，它们可以被视为很好的特征。因此，现在我们进入更简单（且被广泛使用的图像）以更好地理解。
- 蓝色补丁是平坦区域，很难找到和跟踪。无论你将蓝色补丁移到何处，它看起来都一样。
- 黑色补丁有一个边缘。如果你沿垂直方向（即沿渐变）移动它，则它会发生变化。沿着边缘（平行于边缘）移动，看起来相同。
- 对于红色补丁，这是一个角落。无论你将补丁移动到何处，它看起来都不同，这意味着它是唯一的。
因此，基本上，拐点被认为是图像中的良好特征。（不仅是角落，在某些情况下，斑点也被认为是不错的功能）。
特征检测：还是我们如何找到角落？直观的方式：寻找图像中在其周围所有区域中移动（少量）变化最大的区域。
在接下来的章节中，这将被投影到计算机语言中。因此，找到这些图像特征称为特征检测。特征描述：我们计算机还应该描述特征周围的区域，以便可以在其他图像中找到它。所谓的描述称为**特征描述**。获得特征及其描述后，你可以在所有图像中找到相同的功能并将它们对齐，缝合在一起或进行所需的操作。
因此，在此模块中，我们正在寻找OpenCV中的不同算法来查找功能，对其进行描述，进行匹配等。
哈里斯角检测
角是图像中各个方向上强度变化很大的区域。Chris Harris**和**Mike Stephens**在1988年的论文《**组合式拐角和边缘检测器》中做了一次尝试找到这些拐角的尝试，所以现在将其称为哈里斯拐角检测器。他把这个简单的想法变成了数学形式。它基本上找到了(u，v)在所有方向上位移的强度差异。表示如下：
窗口函数要么是一个矩形窗口,要么是高斯窗口,它在下面赋予了值。
我们必须最大化这个函数E(u,v)用于角检测。这意味着,我们必须最大化第二个项。将泰勒扩展应用于上述方程,并使用一些数学步骤得到最后的等式:
其中
在此，Ix和Iy分别是在x和y方向上的图像导数。（可以使用**cv.Sobel**()轻松找到，二阶导数拉普拉斯）。
然后是主要部分。之后，他们创建了一个分数，基本上是一个等式，它将确定一个窗口是否可以包含一个角。
其中
因此，这些特征值的值决定了区域是拐角，边缘还是平坦。
（R角点响应）
可以用如下图来表示：
因此，Harris Corner Detection的结果是具有这些分数的灰度图像。
合适的阈值可为您提供图像的各个角落。
OpenCV中的哈里斯角检测
为此，OpenCV具有函数**cv.cornerHarris()。
其参数为：
- **img - 输入图像，应为灰度和float32类型。
- blockSize - 是拐角检测考虑的邻域大小
- ksize - 使用的Sobel导数的光圈参数。
- k - 等式中的哈里斯检测器自由参数。请参阅以下示例：
import numpy as np import cv2 as cv filename = 'chessboard.png' img = cv.imread(filename) gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY) gray = np.float32(gray) dst = cv.cornerHarris(gray,2,3,0.04) #result用于标记角点，并不重要 dst = cv.dilate(dst,None) #最佳值的阈值，它可能因图像而异。 img[dst>0.01*dst.max()]=[0,0,255] cv.imshow('dst',img) if cv.waitKey(0) & 0xff == 27: cv.destroyAllWindows()以下三个结果：
SubPixel精度的转角
有时，你可能需要找到最精确的角落。OpenCV附带了一个函数**cv.cornerSubPix**()，它进一步细化了以亚像素精度检测到的角落。下面是一个例子。
- 先找到哈里斯角。
- 通过这些角的质心(可能在一个角上有一堆像素，我们取它们的质心)来细化它们。
- Harris角用红色像素标记，精制角用绿色像素标记。
- 对于这个函数，我们必须定义何时停止迭代的条件。我们在特定的迭代次数或达到一定的精度后停止它，无论先发生什么。我们还需要定义它将搜索角落的邻居的大小。
import numpy as np import cv2 as cv filename = 'chessboard2.jpg' img = cv.imread(filename) gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY) # 寻找哈里斯角 gray = np.float32(gray) dst = cv.cornerHarris(gray,2,3,0.04) dst = cv.dilate(dst,None) ret, dst = cv.threshold(dst,0.01*dst.max(),255,0) dst = np.uint8(dst) # 寻找质心 ret, labels, stats, centroids = cv.connectedComponentsWithStats(dst) # 定义停止和完善拐角的条件 criteria = (cv.TERM_CRITERIA_EPS + cv.TERM_CRITERIA_MAX_ITER, 100, 0.001) corners = cv.cornerSubPix(gray,np.float32(centroids),(5,5),(-1,-1),criteria) # 绘制 res = np.hstack((centroids,corners)) res = np.int0(res) img[res[:,1],res[:,0]]=[0,0,255] img[res[:,3],res[:,2]] = [0,255,0] cv.imwrite('subpixel5.png',img)以下是结果，其中一些重要位置显示在缩放窗口中以可视化：
