境界ボックス回帰

境界ボックス回帰

このブログは、実際には CSDN によって書かれた別のブログを参照しています。これはリンクです。しかし、そのブログはレイアウトや言語表現が非常に悪く、数式の間違いも多く、理解するのに非常に時間がかかりました。参考までに私が考えた結果を記録しました。

1. バウンディングボックス回帰の概要

次に、境界ボックス回帰で行う必要があるのは、候補ターゲット ボックス (領域提案) $P=\left(P_{}、P_{}、P_{}、P_{}\right)$は実際のターゲット ボックス (ground-truth) に限りなく近いです。上記の原理は、次のように数学記号を使用して表現されます。候補となるターゲット ボックスのセットが与えられた場合、マッピング$f$，得$f(P_{}、P_{}、P_{}、P_{})=({\hat{G}}_{}、{\hat{G}}_{}、{\hat{G}}_{}、{\hat{G}}_{})\approx \left(G_{}、G_{}、G_{}、G_{}\right)$。その中$\left(G_{}、G_{}、G_{}、G_{}\right)$は実数値を表します$({\hat{G}}_{}、{\hat{G}}_{}、{\hat{G}}_{}、{\hat{G}}_{})$は予測値を表します。

図 1境界ボックス回帰プロセス

バウンディング ボックス回帰プロセス図 1 に示します。図 1では、赤いボックスは候補ターゲット フレームを表し、緑のボックスは実際のターゲット フレームを表し、青のフレームはバウンディング ボックス回帰アルゴリズムによって予測されたターゲット フレームを表します。赤い円は候補ターゲット フレームの中心点を表し、緑の円は実際のターゲット フレームの中心点を表し、青の円はバウンディング ボックス回帰アルゴリズムによって予測されたターゲット フレームの中心点を表します。

2. 境界ボックス回帰の詳細

RCNN の論文は、バウンディング ボックス回帰では、マッピングを実現するために変換変換とスケール変換を使用することを指摘しています。平行移動変換の計算式は次のとおりです。
$$\{\begin{array}{l}{\hat{G}}_{}=P_{}{d}_{}\left(P\right)+P_{}\\ {\hat{G}}_{}=P_{}{d}_{}\left(P\right)+P_{}\end{array}\text{\hspace{1em}( 1 )}$$

スケール変換の計算式は以下のとおりです。

$$\{\begin{array}{l}{\hat{G}}_{}=P_{}\mathrm{経験値}\left(d_{}\left(P\right)\right)\\ {\hat{G}}_{}=P_{}\mathrm{経験値}\left(d_{}(P\right)\end{array}\text{\hspace{1em}( 2 )}$$
ここで$d_{}\left(P\right)$（$\star$代表$\times 、よ、ｗ、h$ )、プール 5 \text{pool}_5に基づいています${\text{プール}}_{}$4 つの一次関数の関数。ここで、特徴を${\varphi }_{}\left(P\right)$の場合、$d_{}\left(P\right)=w_{\star }^{}{\varphi }_{}\left(P\right)$。したがって、最小二乗法または勾配降下法アルゴリズムを使用して解くことができます。RCNN 論文で示されている解の式は次のとおりです:
$$w_{}=\underset{{\hat{w}}_{}}{arg\_}\sum {(t_{\ast }^{}-{\hat{w}}_{\ast }^{}{\varphi }_{}(P^{私}））}^2+私{\Vert {\hat{w}}_{}\Vert }^2\text{\hspace{1em}( 3 )}$$
以下：
{ tx = G x − P x P wty = G y − P y P htw = log ⁡ G w P wth = log ⁡ G h P h (4) \left\{\begin{aligned} t_ {x} & =\frac{G_{x}-P_{x}}{P_{w}} \\ t_{y} & =\frac{G_{y}-P_{y}}{P_{h} } \\ t_{w} & =\log \frac{G_{w}}{P_{w}} \\ t_{h} & =\log \frac{G_{h}}{P_{h}} \終了{整列}\right.\tag4⎩ ⎨ ⎧t×tはいtｗtふ​=PｗG×−P×​=PふGはい−Pはい​=ログ_PｗGｗ​=ログ_PふGふ​​( 4 )
$t_{}$、$t_{}$中心点の並進移動です$t_{}$、$t_{}$スケーリング量です。

上記のモデルはリッジ回帰モデルであることがわかります。RCNN では、バウンディング ボックス回帰では、wx、wy、ww、wh w_x、w_y、w_w、w_h をそれぞれ解くために 4 つの異なるリッジ回帰モデルを設計する必要があります。$w_{}、w_{}、w_{}、w_{}$。

回帰モデルへの入力は何ですか? is $(P_{}、P_{}、P_{}、P_{})$この 4 次元テンソル?

実際の入力は、このウィンドウに対応する CNN 特徴であり、 R-CNN の${\text{プール}}_{}$(特徴ベクトル)。Ground Truthの座標データはトレーニング フェーズでも使用されます(式$\left(4\right)$言及$t_{}$。

3. 関連する問題について考える

1. なぜ相対座標の差を使用するのでしょうか?

式(4)において$\left(4\right)$では、実際のフレームの中心座標と候補フレームの中心座標の差をそれぞれ幅と高さで割る必要があるのはなぜでしょうか。

図 2さまざまなサイズの画像

以下の説明では、境界ボックス回帰では絶対座標が使用されると仮定します。

まず、サイズは異なるが内容が同じ 2 つの画像図 2 を参照)。CNN によって抽出された特徴が${\varphi }_{}$と${\varphi }_{}$。同時に、${バツ}_{}$为第 i i xx$/\; i$の実際のターゲット ボックス$x$座標、$p_{}$为第 i i xx$/\; i$個のターゲット ボックス候補$x$座標、境界ボックス回帰$x$座標$g_{}$。{ gx ( ϕ 1 ) = x 1 − p 1 gx ( ϕ 2 ) = x 2 − p 2 (5) \left\{\begin {
$$\{\begin{array}{l}{g}_{}\left({\varphi }_{}\right)={バツ}_{}-p_{}\\ g_{}\left({\varphi }_{}\right)={バツ}_{}-p_{}\end{array}\text{\hspace{1em}( 5 )}$$
理論的には、CNN によって得られる特徴は${\varphi }_{}$と${\varphi }_{}$が類似している場合、線形関数マッピングの結果も近いはずです。しかし明らかに${バツ}_{}-p_{}\ne {バツ}_{}-p_{}$。サイズの変化により、候補ターゲット フレームと実際のターゲット フレームの座標間のオフセットもサイズに比例して変化します。つまり、この値は一定ではありません。ただし、正規化されたスケール値はほぼ同じであると考えることができます。

CNN にスケール不変性があるかどうかについては、この論文で「20 年間の物体検出: 調査」で説明されています。

したがって、私たちは、$x$座標をターゲット ボックス候補の幅yyオフセット$y$座標のオフセットをこの方法によってのみ、候補ターゲットフレームと実際のターゲットフレームとの間の座標オフセット値の相対値を取得することができる。同時に、相対オフセットを使用する利点は、入力イメージのサイズを自由に選択できるため、モデルが柔軟になることです。つまり、座標オフセットを幅と高さで除算することでスケールが正規化されます。つまり、大きいターゲット フレームの座標オフセットが大きくなり、小さいターゲット フレームの座標オフセットが小さくなります。

2. アスペクト比はなぜ対数でなければならないのですか?

質問 1 と同様に、なぜ「不必要なステップ」で対数を取得するのではなく、幅と高さの比率を学習のターゲットとして直接使用しないのかと疑問に思わずにはいられません。

幅と高さの倍数は 0 より大きくなければならないため、線形関数の出力は実数になります。そのため、指数関数の形式、または逆に対数の形式でなければなりません。

3. IoU が大きい場合、バウンディング ボックス回帰が線形変換とみなせるのはなぜですか?

「正確なオブジェクト検出とセマンティック セグメンテーションのための豊富な機能階層」の記事では、IoUが0.6 0.6より大きくなければならないと述べられていました。$線形回帰は0.6$の場合にのみ使用できます。それ以外の場合、境界ボックス回帰は複雑な非線形問題になります。

Zhihu に関する以前のブログでは、この問題について説明しようとしました。リンクはここにあります。

しかし、G w ≈ P w G_{w} \およそ P_{w}の場合、それは無理があると思います。$G_{}\approx P_{}$和$G_{}\approx P_{}$時間、式$\left(4\right)$の最後の 2 項は、確かに、ある種の線形変換とみなすことができます。ただし、回帰の入力量は$(P_{}、P_{}、P_{}、P_{})$ 4 次元テンソル$(P_{}、P_{}、P_{}、P_{}）$。したがって、元の境界ボックスの座標とグラウンドトゥルースは無意味です