SLAM への最初のエントリ (1) - ハリス コーナー検出

参照

https://blog.csdn.net/lbaihao/article/details/78919700
https://docs.opencv.org/4.x/dc/d0d/tutorial_py_features_harris.html

1 数学的導出

ハリスコーナー検出原理：

Harris アルゴリズムは、ウィンドウ内の灰色の画像の自己相関を使用してコーナー点を決定し、ウィンドウを設定して画像内を移動し、移動の前後でウィンドウが位置する領域の画像の自己相関係数を計算します。 。

自己相関関数は次のように計算されます。(x, y) はウィンドウの中心位置、w(u, v) は重み (通常はガウス関数)、L はウィンドウを表し、(u, v) はウィンドウを表します。ウィンドウ内の画像の位置。
$$c(x,よ、\Delta x、\_y)\_=\underset{(u,v)\in L}{}w(あなた、v)\cdot [私（あなた、v)-私（あなた+\Delta x、\_v+y\left)\right]\_{}^{2.}$$ I ( u + Δ x , v + Δ y ) = I ( u , v ) + I x ( u , v ) ⋅ Δ x + I y ( u , v ) . ⋅ Δ y の微小関数 I とします
。
$$\begin{array}{c}私（あなた+\Delta x、\_v+y)\_=私（あなた、v)+{私}_{}(あなた、v)\cdot \Delta x\_\_+{私}_{}(あなた、v)\cdot y\_\_+\cdots +R_{}(あなた、v)\\ \approx 私（あなた、v)+{私}_{}(あなた、v)\cdot \Delta x\_\_+{私}_{}(あなた、v)\cdot y\_\end{array}$$
自己相関関数に代入すると、次のようになります。$$\begin{array}{rl}c(x,よ、\Delta x、\_y)\_& =\underset{(u,v)ϵL\_}{}w(あなた、v)\cdot [私（あなた、v)-私（あなた+\Delta x、\_v+y\left)\right]\_{}^2\\ & \approx \underset{(u,v)\in L}{}w(あなた、v)\cdot {\left\{私\right(あなた,v)-\left[私（あなた、v)+{私}_{}(あなた、v)\cdot \Delta x\_\_+{私}_{}(あなた、v)\cdot y\right]\}\_}^2\\ & =\underset{(u,v)\in L}{}w(あなた、v){[{私}_{}(あなた、v)\cdot \Delta x\_\_+{私}_{}(あなた、v)\cdot y]\_}^{}\end{array}$$
二乗項を展開して行列形式で書くと、次のようになります。
$$\begin{array}{l}{[{私}_{}(あなた、v)\cdot \Delta x\_\_+{私}_{}(あなた、v)\cdot y]\_}^2\\ ={私}^2{}_{}(あなた、v)\Delta x^2+{私}^2{}_{}(あなた、v)\Delta y^2+2{私}_{}(あなた、v){私}_{}(あなた、v)\Delta x\Delta y\\ ={私}^2{}_{}(あなた、v)\Delta x^2+{私}^2{}_{}(あなた、v)\Delta y^2+2{私}_{}(あなた、v){私}_{}(あなた、v)\Delta x\Delta y\\ =[\begin{array}{lc}{私}_{バツ}^{}(あなた、v)\Delta x+{私}_{}(あなた、v){私}_{}(あなた、v)\Delta & {私}_y^{}(あなた、v)\Delta y+{私}_{}(あなた、v){私}_{}(あなた、v)\Delta \end{array}】\cdot [\begin{array}{l}\Delta x\_\_\\ y\_\end{array}】\\ =[\begin{array}{ll}\Delta & y\_\end{array}】\cdot [\begin{array}{cc}{私}_{バツ}^{}(あなた、v)& {私}_{}(あなた、v){私}_{}(あなた、v)\\ {私}_{}(あなた、v){私}_{}(あなた、v& {私}_y^{}(あなた、v\end{array}】\cdot [\begin{array}{l}\Delta x\_\_\\ y\_\end{array}\end{array}$$

自己相関関数に代入すると、次のようになります。
$$\begin{array}{l}c(x,よ、\Delta x、\_y)\_\approx {\sum }_{(u,v)\in }w(x,y）{[{私}_{}(あなた、v)\cdot \Delta x\_\_+{私}_{}(あなた、v)\cdot y]\_}^2\\ \\ ={\sum }_{(u,v)\in }w(x,y）\left[{私}^2{}_{}\right(あなた、v)\Delta x^2+{私}^2{}_{}(あなた、v)\Delta y^2+2I{\_}_{}(あなた、v){私}_{}(あなた、v)\Delta x\Delta y]\\ \\ ={\sum }_{(u,v)\in }w(x,y）[\begin{array}{ll}\Delta & y\_\end{array}】[\begin{array}{cc}{私}_{バツ}^{}(あなた、v)& {私}_{}(あなた、v){私}_{}(あなた、v)\\ {私}_{}(あなた、v){私}_{}(あなた、v& {私}_y^{}(あなた、v\end{array}】[\begin{array}{l}\Delta x\_\_\\ y\_\end{array}】\\ \\ =[\begin{array}{ll}\Delta & y\_\end{array}】\left\{{\sum }_{(u,v)\in }w(x,y）\left[\begin{array}{cc}{私}_{バツ}^{}(あなた、v)& {私}_{}(あなた、v){私}_{}(あなた、v)\\ {私}_{}(あなた、v){私}_{}(あなた、v& {私}_y^{}(あなた、v\end{array}\right]\right\}[\begin{array}{l}\Delta x\_\_\\ y\_\end{array}】\\ \\ =[\begin{array}{ll}\Delta & y\_\end{array}】[\begin{array}{cc}{\sum }_{(u,v)ϵL}{私}_{バツ}^{}(あなた、v)& {\sum }_{(u,v)ϵL}{私}_{}(あなた、v){私}_{}(あなた、v)\\ {\sum }_{(u,v)\in }{私}_{}(あなた、v){私}_{}(あなた、v& {\sum }_{(u,v)ϵL}{私}_y^{}(あなた、v\end{array}】[\begin{array}{l}\Delta x\_\_\\ y\_\end{array}】\\ \\ =[\begin{array}{ll}\Delta & y\_\end{array}】\cdot [\begin{array}{ll}あ& C\\ & \end{array}】\cdot [\begin{array}{l}\Delta x\_\_\\ y\_\end{array}\end{array}$$

従属変数を決定します:
$$\begin{array}{l}c(x,よ、\Delta x、\_y)\_=[\begin{array}{ll}\Delta & y\_\end{array}】\cdot M\cdot [\begin{array}{l}\Delta x\_\_\\ y\_\end{array}\end{array}$$
$$M=\underset{x、y}{}w(x,y）\left[\begin{array}{cc}{私}_{}{私}_{}& {私}_{}{私}_{}\\ {私}_{}{私}_{}& {私}_{}{私}_{}\end{array}\right]$$
这里${私}_{}$和${私}_{}$画像の x 方向と y 方向の画像導関数です (cv2.Sobel() を使用して簡単に取得できます)。

楕円の方程式

$$\frac{{バツ}^{}}{{ある}^2}+\frac{y^{}}{b^2}=1$$
マス阵表达：
$$[\begin{array}{ll}& \end{array}】[\begin{array}{ll}\frac{}{{ある}^2}& 0\\ & \frac{}{b^2}\end{array}】[\begin{array}{l}バツ\\ \end{array}】=1$$
nxn 行列はその固有値を解くことができます。上記の中間行列の固有値を解くと、
$$\{\begin{array}{l}{私}_{}=\frac{}{{ある}^2}\\ {私}_{}=\frac{}{b^2}\end{array}\{\begin{array}{l}ある=\frac{}{\sqrt{{私}_{}}}\\ b=\frac{}{\sqrt{{私}_{}}}\end{array}$$
固有値が大きいほど、軸半径は短くなります。

M行列

$$\begin{array}{l}c(x,よ、\Delta x、\_y)\_=[\begin{array}{ll}\Delta & y\_\end{array}】\cdot M\cdot [\begin{array}{l}\Delta x\_\_\\ y\_\end{array}\end{array}$$
$$M=\underset{x、y}{}w(x,y）\left[\begin{array}{cc}{私}_{}{私}_{}& {私}_{}{私}_{}\\ {私}_{}{私}_{}& {私}_{}{私}_{}\end{array}\right]$$
自己相関関数が実際には楕円の行列表現であることがわかりました。
次に、$M$行列${私}_{}$と${私}_{}$。

1. ${私}_{}$と${私}_{}$は非常に小さく、軸の長さは長いため、点が平らな領域にあることを意味します。
2. ${私}_{}$と${私}_{}$それらはすべて非常に大きく、互いに比較的近く、軸の長さが非常に小さいため、コーナー ポイントと見なすことができます。
3. ${私}_{}$と${私}_{}$そのうちの 1 つは非常に小さく、1 つは非常に大きく、1 つの軸は長く、もう 1 つの軸は短く、現時点ではエッジ領域と考えることができます。
   

上記の方法に従うと、点ごとに多くのことを計算する必要があることは明らかであり、速度が遅すぎるため、経験式を提案します。
$$R=デット\left(M\right)\_\_-k\left(トレース\right(M\left)\right)\_\_\_{}^{}$$
そのうち$${}^{2つ、}$$

• $彼\left(M\right)\_={私}_{}\cdot {私}_{}=AB\_-C^2$
• $トレース\left(M\right)\_\_\_={私}_{}+{私}_{}=あ+B$
• ${私}_{}$と${私}_{}$MMです$M$の固有値
• $k$は経験値で、通常は 0.02 ～ 0.04 です。

2 OpenCVの実装

2.1 関数 cv2.cornerHarris() [ざっくり理解]

2.1.1 パラメータ

• img: 入力画像。float32 グレースケール画像である必要があります。
• blockSize: コーナー検出で考慮される領域のサイズ
• ksize: ソーベル導関数を使用した開口パラメータ
• k: ハリス検出スコア$R$の$k$のパラメータ値

# -*-coding:utf-8-*-
import numpy as np
import cv2

filename = '1.jpg'
img = cv2.imread(filename)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# opencv需要输入是float32类型的
gray = np.float32(gray)
# 返回值是一个跟图片同样大小的矩阵分数图
dst = cv2.cornerHarris(gray, 5, 3, 0.04)

# 通过图像自身的分数图的大小关系，得到哪些像素点应该是角点，
# 这些像素点的值都变为[0,0,255]，也就是红色。
img[dst>0.01*dst.max()]=[0,0,255]
cv2.imshow('dst', img)
cv2.waitKey(0)

2.2 cv2.goodFeatureToTrack()

上記の API の問題は、返されるのがコーナー点の位置座標ではなくスコア マップであり、ソース画像をスコア マップで直接処理していることです。
cv2.goodFeatureToTrack() は、Harris コーナー検出をサポートするだけでなく、Shi Tomasi アルゴリズムのコーナー検出もサポートします。

2.2.1 パラメータ

• grey_src: 8 ビットまたは 32 ビットのシングルチャネル グレースケール イメージ
• コーナー: 位置点ベクトル。検出されたコーナー点の座標を保存します。
• max_corners: 検出できるコーナーポイントの最大数として定義されます。
• qualityLevel: 検出されたコーナーポイントの品質レベル、および固有値がqualityLevelの最大固有値未満のポイントは破棄されます。
• minDistance: 2 つのコーナーポイント間の最小距離 (ピクセル単位)。
• マスク: 検出領域を指定します。画像全体が検出された場合、マスクは空になります。
• blockSize: 自己相関関数の共分散行列のウィンドウ サイズを計算します。
• useHarrisDetector: Harris コーナー検出を使用するかどうか。false の場合は Shi-Tomasi 演算子を使用します。
• k: Harris コーナー検出のハイパーパラメータ、通常は 0.02 ～ 0.04、userHarrisDetector が false の場合、機能しません。

# -*-coding:utf-8-*-
import numpy as np
import cv2

filename = '1.jpg'
img = cv2.imread(filename)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

gray = np.float32(gray)


corners = cv2.goodFeaturesToTrack(gray, maxCorners=1000, qualityLevel=0.01, minDistance=10)
corners = np.int0(corners)
for i in corners:
    x,y = i.ravel()
    cv2.circle(img, (x, y), 2, (0, 0, 255), -1)

cv2.imshow('out.jpg', img)

cv2.waitKey(0)

サブピクセル

cv2.cornerSubPix()

パラメータ:

• 画像: 入​​力画像
• コーナー: コーナーポイントの初期座標を入力します。
• winSize: 検索ウィンドウの辺の長さの半分。winSize=(5,5) の場合、 (5 2+1) (5 2+1)=11 11 のサイズの検索ウィンドウが使用されます。
• zeroZone: 検索エリアの中央にあるデッド領域の辺の長さの半分。値が (-1, -1) に設定されている場合は、そのような領域が存在しないことを意味します。
• cirteria: コーナーポイント精度の反復プロセスの終了条件。通常は$基準\_\_\_\_=(cv2.期間基準\_\_\_\_\_\_\_{\_}_{}PS+cv2.期間基準\_\_\_\_\_\_\_{\_}_{}\times {\_}_{}TER、100、0.001)$