ハリス コーナーは画像特徴抽出の最も基本的な手法であり、この記事ではハリス コーナーの定義、計算方法、特徴について詳しく分析します。
1. ハリスコーナーの定義
画像では、小さな正方形のピクセル ウィンドウを基本単位として使用すると、上図に従って次の 3 つのタイプに分類できます。
- 平らな領域: ウィンドウを任意の方向に移動します。ウィンドウの内容はあまり変化しません。
- エッジ：ウィンドウを一定方向に移動すると、ウィンドウの内容が大きく変化します（図のように、上下の移動は基本的に変化しませんが、左右の移動ではウィンドウの内容が大きく変化します）
- コーナー: ウィンドウを任意の方向に移動すると、ウィンドウの内容が大きく変化します
人間の観点から直観的に理解すると、画像の重要な特徴点は、周囲の画像と大きく異なる点である必要があります。
(グレースケール画像を例にとると、実際には、この点のグレースケール値は周囲の点と大きく異なるため、周囲の点とのグレースケールの差、つまり導関数を計算することで判断できます。)
ピクセル ウィンドウを基本単位とする場合、周囲の画像の隅とはまったく異なるこれらの小さなウィンドウを呼びます。これらは、画像内の識別および重要な特徴領域を表すことができます。
2. ハリス角の計算方法
1. ウィンドウの内容の差を計算する
Harris コーナー ポイント法は、ピクセル近傍領域、つまり周囲の領域とのコンテンツの差が大きいピクセル ウィンドウ内のコンテンツの差を計算することによってコーナー ポイントであるかどうかを判断します。その場合、最初に次の間の差を与える必要があります。小窓とその周囲の窓(u,v) 方向に移動する計算方法を窓応答値 E(u,v)
E ( u , v ) = ∑ x , yw ( x , y ) [ I ( x + u , y + v ) − I ( x , y ) ] 2 E(u,v)=\sum_{x,y}w(x,y)[I(x+u,y+v)- I(x,y)] ^2E ( u ,v )=x 、y∑w ( x ,y ) [ I ( x+あなた、y+v )−私( x ,y ) ]2
- 赤い小さなウィンドウは I(x,y) で表される元のウィンドウで、緑色は移動されたウィンドウ I(x+u,y+v) で、(u,v) は実際の移動方向を表します。
- w(x,y) は、通常はガウス重み関数を使用して、元のウィンドウ内のさまざまなピクセルの重みを表します。
- 式の意味は、移動前後の各ピクセルのグレー値の差を 2 乗し、各ピクセルの重みに従って合計を 2 つのウィンドウのコンテンツ差 E(u,v) として計算することです。
2. ウィンドウ内容の差 E = " は行列 M によって決定されます。
移動前後のウィンドウの応答値をより簡単に計算するために、E(u,v) の式に対して一連の数学的変換を実行します。まず、バイナリ テイラー展開を実行します。展開は 0 で、最後の項は
行列の形式で表すことができます:
E ( u , v ) ≈ [ uv ] M [ uv ] E(u,v) ≈ \begin{bmatrix} u&v\end{bmatrix } M \begin{bmatrix} u \\ v \ end{bmatrix}E ( u ,v )≈[あなたv】M[あなたv]
M = ∑ x , yw ( x , y ) [ I x 2 I x I y I x I y I y 2 ] M=\sum_{x,y}w(x,y)\begin{bmatrix}I_{ x}^2&I_xI_y\\ I_xI_y&I_{y}^2\end{bmatrix}M=x 、y∑w ( x ,y )[私バツ2私×私はい私×私はい私y2】
この式によれば、E(u,v) の値、つまり、異なる方向 (u,v) に移動した後のウィンドウの相対的な差は、行列 M に大きく依存することがわかりました。方向 (u,v) は気にしますが、行列 M を通じてそれがコーナー点( I x I_x )であるかどうかを判断できます。私×x方向の勾配を表します)
3. ウィンドウ内容の差 E = "行列によって決定される M = "固有値 λ によって決定される
行列 M によるコーナー点の判断は、行列 M の固有値 λ によって判断することでさらに簡略化できます。
M を対角行列に変換できる場合 (対角化できない状況については後で説明します)、E(u,v) の最終結果はu 2 λ 1 + v 2 λ 2 u^{2}λ_{1になります。 }+v ^{2}λ_{2}あなた2分1+v2分2、値が定数 c (1 を取る) であると仮定すると、次のようになります。
E ( u , v ) = [ uv ] [ λ 1 0 0 λ 2 ] [ uv ] = u 2 λ 1 + v 2 λ 2 E(u,v)=\begin{bmatrix} u&v\end{bmatrix} \ begin{bmatrix}λ_{1}&0\\0&λ_{2}\end{bmatrix} \begin{bmatrix} u \\ v \end{bmatrix}=u^{2}λ_{1}+v^{2} λ_{2}E ( u ,v )=[あなたv】[私100私2】[あなたv】=あなた2分1+v2分2
u 2 λ 1 + v 2 λ 2 = 1 \frac{u^2}{λ_{1}}+\frac{v^2}{λ_{2}}=1私1あなた2+私2v2=1
この方程式を楕円として幾何学的に表現すると、次のようになります。
- つまり、楕円の境界線は、長軸と短軸を方向とする座標系において、移動後の応答値 E(u,v) が同じ点となる。
- つまり、同じ応答値 (コンテンツの差分) を得るためにウィンドウを移動する場合、短軸に沿って移動するのに最短距離が必要となり、長軸に沿って移動するには最長の距離が必要になります。つまり、短軸が勾配変化が最も速い方向、長軸は変化が最も遅い勾配方向
2 次モーメント行列 M を直接対角化できない場合は、次の形式に変換できます:
M = R − 1 [ λ 1 0 0 λ 2 ] RM=R^{-1} \begin{bmatrix}λ_1&0\ \0&λ_2 \end{bmatrix}RM=R− 1[私100私2】R
ここで、R は回転行列です。つまり、この時点ではジオメトリは回転した楕円として表され、長軸と短軸は引き続き勾配変化の最も遅い方向と最も速い方向を表します。
したがって、コーナー点の定義によれば、どの方向にも大きな勾配の変化があることがわかります = 「楕円の長軸と短軸は短くなければなりません = 固有値 λ 1 λ_{1} 」私1、λ 2 λ_{2}私2どちらも大きいです
- 当λ 1 λ_{1}私1、λ 2 λ_{2}私2が大きい場合、勾配はどの方向にも大きく、E は急激に増加します。これがコーナーポイントです。
- 当λ 1 λ_{1}私1、λ 2 λ_{2}私2そのうちの 1 つはもう 1 つよりもはるかに大きく、これは最速の方向が急速に変化すると同時に、一方の方向がほぼ一定であることを意味します。これがエッジ領域です。
- 当λ 1 λ_{1}私1、λ 2 λ_{2}私2非常に小さく、どの方向に行っても勾配が面白く、E はゆっくりと変化し、平らな領域です
4. ウィンドウ内容の差 E = "行列によって決定される M = "固有値によって決定される λ = "計算によって決定される R
R は固有値λ 1 λ_{1}で構成されます私1、λ 2 λ_{2}私2電気学乐、公式ダウンロード：
R = D et ( M ) − α ∗ Trace ( M ) 2 = λ 1 λ 2 − α ( λ 1 + λ 2 ) 2 R=Det(M)-α*Trace(M) ) ^2=λ_{1}λ_{2}-α(λ_{1}+λ_{2})^2R=約t ( M )−ある∗トレース( M ) _ _ _2=私1私2−a ( l1+私2)2 λ 1 λ_{1}
のとき、次のことがわかります。私1、λ 2 λ_{2}私23 で述べた 3 つの状態にある場合、対応する R は次のとおりです。
- 当λ 1 λ_{1}私1、λ 2 λ_{2}私2どちらも大きく、R>0、これがコーナーポイントです
- 当λ 1 λ_{1}私1、λ 2 λ_{2}私2そのうちの 1 つはもう 1 つよりもはるかに大きく、R<0、つまり限界領域です。
- 当λ 1 λ_{1}私1、λ 2 λ_{2}私2は非常に小さく、R は 0 に近く、平坦な領域です。
3. ハリスコーナーの特徴
上の図は、ハリス コーナー検出を使用して取得されたキー ポイントを示しています。
理想的な画像特徴点の場合、照明、回転、平行移動、スケールなどの変化、つまり不変性 (Invariance) または共分散 (Covariance)に対する耐性がなければなりません。
- 不変性 (Invariance): 変換後も元の特徴点を検出でき、位置は変化しません。
- 共分散: 元の特徴点は変換後も検出できますが、位置が変わる可能性があります。
3.1 利点
Harris コーナーの場合、照明、回転、および平行移動の変換に耐えることができます (画像のこの部分は Zhihu@饭饭 からのものです)。
照明: 照明変換により、エリア全体のピクセルのグレー値が増加または減少します。
- 増加量または減少量が同じ場合（階調変換）、画素間の階調差（勾配）に基づくコーナー点の判定方法には影響せず、検出されたコーナー点は不変のままでよい。
- 元のグレースケールと比較すると、検出されたコーナーの数が増減します (スケール変換)。しきい値は変化しないため、検出されたコーナーの数が増減する可能性がありますが、同じコーナー点の位置は変化します。同時に検出されたものは変化しません。
回転: 回転が発生すると、幾何学楕円に対応する 2 次モーメント行列の回転と等価になります(つまり、最も速い勾配変化と最も遅い勾配変化の方向が変わります)。ただし、固有値は変化せず、コーナー自体の位置は変化する可能性があります。つまり、相関関係があります。 変性並進
:回転と同様に、コーナーの位置は変化し、共分散がありますが、勾配変化の最も速い方向と最も遅い方向は変化しません。
3.2 欠点
ハリス コーナーにはスケール不変性がありません。画像スケールが縮小されると、元のコーナー領域がエッジまたはさらに平らな領域として判断される可能性があります。逆に、スケールが拡大されると、元のコーナー ポイントは対応するコーナー ポイントを見つけることができません。 . が表示されるため、これに基づいてスケールの不変性を維持するために、後続の SIFT 特徴検出方法を使用できます。