【OpenCV 例程 300篇】240. OpenCV 中的 Shi-Tomas 角点检测

『youcans 的 OpenCV 例程300篇 - 总目录』

【youcans 的 OpenCV 例程 300篇】240. OpenCV 中的 Shi-Tomas 角点检测

角是直线方向的快速变化。角点通常被定义为两条边的交点，或者说角点的邻域应该具有两个不同区域的不同方向的边界。

角是高度有效的特征。角点检测（Corner Detection）广泛应用于运动检测、图像匹配、视频跟踪、三维重建和目标识别。

Shi-Tomas 算法是对 Harris角点检测算法的改进，一般会比Harris算法得到更好的角点。

6.1 哈里斯-斯蒂芬斯角检测器（Harris）

Harris角点检测算法的原理是，通过检测窗口在图像上移动，计算移动前后窗口中像素的灰度变化。角点是两条边的交点，其特征是检测窗口沿任意方向移动都会导致灰度的显著变化。

对于点 $(x,y)$，令 $w(x,y)$ 为矩形检测窗口或高斯检测窗口，$I(x,y)$ 是检测窗口在点 $(x,y)$ 的灰度值，$I(x+u,y+v)$ 是检测窗口滑动 $(u,v)$ 距离之后的灰度值。

计算窗口 $w(x,y)$ 滑动 $(u,v)$ 距离之后的灰度变化：
$$E(u,v)=\sum _{x,y}w(x,y)[I(x+u,y+v)-I(x,y){]}^2$$
对于很小的位移 $(u,v)$，使用一阶泰勒展开进行简化：
$$\begin{array}{rl}E(u,v)=& \sum _{x,y}w(x,y)[I(x,y)+u{I}_x+v{I}_y+O(u^2,v^2)-I(x,y){]}^2\\ \approx & \sum _{x,y}w(x,y)[u^2{I}_x^2+2uv{I}_x{I}_y+v^2{I}_y^2]\\ \approx & [u,v]\sum _{x,y}w(x,y)\left[\begin{array}{cc}{I}_x{I}_x& I_x{I}_y\\ I_x{I}_y& I_y{I}_y\end{array}\right]\left[\begin{array}{c}u\\ v\end{array}\right]\end{array}$$
$I_x,I_y$ 分别是在 x, y 方向的导数，可以由 Sobel 梯度算子求出。

记 M 为梯度的协方差矩阵：
$$M=\sum _{x,y}w(x,y)\left[\begin{array}{cc}{I}_x{I}_x& I_x{I}_y\\ I_x{I}_y& I_y{I}_y\end{array}\right]$$

在几何模型中通过判断两个特征值的大小，来判定像素的属性。矩阵 M 是$I_x，I_y$ 的二次函数，可以表示为椭圆形状，椭圆的长短半轴由矩阵 M 的特征值 ${\lambda }_1，{\lambda }_2$ 决定，方向由特征向量决定。

定义角点响应函数 R：
$$\begin{array}{rl}R=& det(M)-k[trace(M){]}^2\\ & det(M)={\lambda }_1\ast {\lambda }_2\\ & trace(M)={\lambda }_1+{\lambda }_2\end{array}$$
k 是调节参数（通常取 0.04~0.06）。

角点响应函数 R 只与矩阵 M 的特征值 ${\lambda }_1，{\lambda }_2$ 有关，可以用来判断区域是拐角、边缘还是平坦：

• ${\lambda }_1，{\lambda }_2$ 较小时， $|R|$ 较小，即各个方向上灰度基本不变，表明检测器处于平坦区域；
• ${\lambda }_1>>{\lambda }_2$ 或 $ \lambda _2 >> \lambda _1$ 时， $R<0$ ，即灰度在某个方向变化，但在其正交方向不变化，表明检测器处于边缘区域；
• ${\lambda }_1，{\lambda }_2$ 较大且 ${\lambda }_1\sim {\lambda }_2$时， $|R|$ 很大，即灰度在所有方向都发生重大变化，表明检测器包含角点（或孤立点。

6.3 OpenCV 中的 Shi-Tomas 角检测器

Shi-Tomas 算法是对 Harris角点检测算法的改进，一般会比Harris算法得到更好的角点。

Harris 算法中的角点响应函数为：
$$R={\lambda }_1{\lambda }_2-k({\lambda }_1+{\lambda }_2{)}^2$$
Shi-Tomas 算法将角点响应函数修改为：
$$R=min({\lambda }_1,{\lambda }_2)$$

只有当 M 矩阵的特征值 $ \lambda _1，\lambda _2$ 都大于最小值 $\lambda min$ 时，才将其视为拐角。

OpenCV 中提供了 Shi-Tomas 角点检测函数 cv.goodFeaturesToTrack() 。

函数说明：

cv.goodFeaturesToTrack(image, maxCorners, qualityLevel, minDistance[, corners=None, mask=Mat(), blockSize=3, useHarrisDetector=false, k=0.04]) → corners

函数 cv.goodFeaturesToTrack 通过 Shi-Tomasi 方法找出图像中最突出的 N 个角点。

参数说明：

• src：输入图像，单通道的 8 位图像或 32 位浮点数图像
• corners：输出向量，检测到的角点
• maxCorners：获取的角点数量的上限阈值
• qualityLevel：可接受的角点质量最低阈值，取值范围 0～1
• minDistance：可接受的角点之间最小的欧式距离
• mask：掩模区域，仅在掩模区域检测角点
• blockSize：邻域尺寸，默认值为 3
• k：Harris 检测器调节参数，默认值 0.04
• useHarrisDetector ：默认值 False，使用 cornerMinEigenVal 的参数，True 表示使用 Harris 检测器

注意事项：

1. 函数使用 cornerMinEigenVal 或 cornerHarris 计算出每个像素的角点响应结果。
2. 以 qualityLevel 与最大角点值相乘作为最小特征值（cornerMinEigenVal）或响应函数值（cornerHarris），小于该值的角点都被拒绝。例如，最大响应值为 1500，系数为 0.1，则响应值小于 150 的角点都被放弃。
3. 小于 maxDistance 距离的角点被拒绝，以避免得到相邻特征点。

例程 14.21：特征检测之 Shi-tomas 角检测器

    # 14.21 特征检测之 Shi-tomas 角检测器
    img = cv2.imread("../images/sign04.png", flags=1)  # (300, 300, 3)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

    # Harris 检测角点
    dst = cv2.cornerHarris(gray, 2, 3, k=0.04)
    # Harris[dst > 0.01*dst.max()] = [0, 0, 255]  # 筛选角点，红色标记
    corners = np.column_stack(np.where(dst>0.1*dst.max()))  # 筛选并返回角点坐标 (y,x)
    corners = corners.astype(np.int)  # 检测到的角点的点集 (y,x), (92, 2)
    imgHarris = np.copy(img)
    for point in corners:  # 注意坐标次序
        cv2.circle(imgHarris, (point[1], point, 4, (0,0,255), 2)  # # 在点 (x,y) 处画圆

    # Shi-tomas 检测角点
    corners = cv2.goodFeaturesToTrack(gray, 30, 0.3, 5)  # (30, 1, 2)
    corners = np.squeeze(corners).astype(np.int)  # (30, 1, 2)->(30,2)  角点坐标 (x,y)
    imgShiTomas = np.copy(img)
    for point in corners:
        cv2.circle(imgShiTomas, point, 4, (0,0,255), 2)  # # 在点 (x,y) 处画圆

    plt.figure(figsize=(9, 6))
    plt.subplot(131), plt.axis('off'), plt.title("Origin")
    plt.imshow(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))
    plt.subplot(132), plt.axis('off'), plt.title("Harris corners")
    plt.imshow(cv2.cvtColor(imgHarris, cv2.COLOR_BGR2RGB))
    plt.subplot(133), plt.axis('off'), plt.title("Shi-tomas corners")
    plt.imshow(cv2.cvtColor(imgShiTomas, cv2.COLOR_BGR2RGB))
    plt.tight_layout()
    plt.show()

【本节完】

版权声明：
youcans@xupt 原创作品，转载必须标注原文链接：(https://blog.csdn.net/youcans/article/details/125828053)
Copyright 2022 youcans, XUPT
Crated：2022-7-15

238. OpenCV 中的 Harris 角点检测
239. Harris 角点检测之精确定位（cornerSubPix）
240. OpenCV 中的 Shi-Tomas 角点检测