opencv35:FAST角点检测

目标

在本章中，将了解

FAST算法的基础知识
使用OpenCV功能对FAST算法进行探索

理论

在之前的文章中，已经了解了几个特征检测器，其中很多表现是非常优秀的。但是，从实时应用程序的角度来看，它们并不够快。最好的例子是计算资源有限的SLAM（同时定位和制图）移动机器人

为了解决这个问题，Edward Rosten和Tom Drummond在2006年的论文“Machine learning for high-speed corner detection”中提出了FAST（Features from Accelerated Segment Test）算法（后来在2010年对其进行了修订）。该算法的基本内容如下。有关更多详细信息，请参阅原始论文。

使用FAST进行特征检测

1选择图像中是否要识别为兴趣点的像素 $p$ ，假设其强度为 $I_p$
2 选择适当的阈值 $t$
3 考虑被测像素周围有16个像素的圆圈（见下图）
4 现在，如果以 $p$ 点为圆心的圆中存在一组（共16个像素）n个连续的像素，它们均比 $I_p + t$ 亮，或者比 $I_p-t$ 都暗，则像素 $p$ 是一个角。（在上图中显示为白色虚线）。n被选为12。
5 建议使用高速测试以排除大量的非角区域。此测试仅检查1、9、5和13处的四个像素（如果第一个1和9太亮或太暗，则对其进行测试。如果是，则检查5和13）。如果 $p$ 是一个角，则其中至少三个必须全部比 $I_p + t$ 亮或比 $I_p-t$ 暗。如果以上两种情况都不是，则 $p$ 不能为角。然后，可以通过检查圆中的所有像素，将完整的分段测试标准应用于通过的候选项。该检测器本身具有很高的性能，但有几个缺点：
- 不会拒绝 $n < 12$ 的候选对象
- 像素的选择不是最佳的，因为其效率取决于问题的顺序和角外观的分布
- 高速测试的结果被丢弃
- 彼此相邻地检测到多个特征

使用机器学习的方法解决前三点。使用非最大抑制来解决最后一个问题

机器学习角点检测器

选择一组图像进行训练（最好从目标应用程序域中进行训练）
在每个图像中运行FAST算法以查找特征点
对于每个特征点，将其周围的16个像素存储为矢量。对所有图像执行此操作以获得特征向量P
这16个像素中的每个像素（例如x）可以具有以下三种状态之一：

在这里插入图片描述

取决于这些状态，特征矢量P被分为3个子集， $P_d$ , $P_s$ , $P_b$
定义一个新的布尔变量 $K_p$ , 如果 $p$ 是一个角，则为true，否则为false
使用ID3算法（决策树分类器）使用变量 $K_p$ 查询每个子集，以获取有关真实类的知识。它选择x，该x通过 $K_p$ 的熵测得的有关候选像素是否为角的信息最多
递归地将其应用于所有子集，直到其熵为零为止
创建的决策树用于其他图像的快速检测

理解：将特征点P及相邻的16个点计算距离并统计落在那个子集中，统计每个子集的数量作为特征，然后基于标签 $K_p$ 来使用ID3决策树

非最大抑制(Non-maximal Suppression)

在相邻位置检测出多个兴趣点是另一个问题。通过使用非极大抑制来解决

计算所有检测到的特征点的得分函数， $V$ 用于所有检测到的特征点， $V$ 是 $p$ 与16个周围像素值之间的绝对差之和
考虑两个相邻的关键点并计算它们的 $V$ 值
丢弃较低 $V$ 值的那个关键点

总结

它比其他现有的拐角检测器快几倍。
但是它对高水平的噪声并不鲁棒，取决于阈值的设定

OpenCV中的FAST角点检测器

它被称为OpenCV中的任何其他特征检测器。
如果需要，也可以指定阈值，是否要应用非极大抑制以及要使用的邻域等。
对于邻域，定义了三个标志，分别为*

cv.FAST_FEATURE_DETECTOR_TYPE_5_8
cv.FAST_FEATURE_DETECTOR_TYPE_7_12
cv.FAST_FEATURE_DETECTOR_TYPE_9_16

以下是有关如何检测和绘制FAST特征点的简单代码。

import cv2
import numpy as np
from matplotlib import pyplot as plt

img = cv2.imread('fly.png')

# Initiate FAST object with default values

fast = cv2.FastFeatureDetector_create()

# find and draw the keypoints
kp = fast.detect(img, None)
img2 = cv2.drawKeypoints(img, kp, None, color=(255, 0, 0))

# Print all default params
print("threshold: {}".format(fast.getThreshold()))
print( "nonmaxSuppression:{}".format(fast.getNonmaxSuppression()) )
print( "neighborhood: {}".format(fast.getType()) )
print( "Total Keypoints with nonmaxSuppression: {}".format(len(kp)) )

# Disable nonmaxSuppression
fast.setNonmaxSuppression(0)

kp = fast.detect(img, None)
img3 = cv2.drawKeypoints(img, kp, None, color=(255, 0, 0))

# plot
plt.subplot(131)
plt.imshow(img)
plt.xticks([])
plt.yticks([])
plt.title('origin')

plt.subplot(132)
plt.imshow(img2)
plt.xticks([])
plt.yticks([])
plt.title('nms')

plt.subplot(133)
plt.imshow(img3)
plt.xticks([])
plt.yticks([])
plt.title('non nms')

plt.show()

在这里插入图片描述

查看结果。第二张图片显示了带有nonmaxSuppression的FAST，第三张图片显示了没有nonmaxSuppression的FAST：

附加资源

https://docs.opencv.org/4.1.2/df/d0c/tutorial_py_fast.html
Edward Rosten and Tom Drummond, “Machine learning for high speed corner detection” in 9th European Conference on Computer Vision, vol. 1, 2006, pp. 430–443.
Edward Rosten, Reid Porter, and Tom Drummond, “Faster and better: a machine learning approach to corner detection” in IEEE Trans. Pattern Analysis and Machine Intelligence, 2010, vol 32, pp. 105-119.
ID3