OmniMVS拜读：全方向ステレオマッチングのためのエンドツーエンド学習

画像ソース

• 全方向リグ上の広視野 (FOV) カメラ
  • このホワイト ペーパーでは、具体的には、新たに結合された 4 つの魚眼カメラです。

方法

• 1. 入力魚眼画像を単項特徴マップとして抽出する
  • 2D CNNで実現
    • この記事では SegNet+dilated convolution を使用しています
• 2. フィーチャー マップと内部および外部パラメーターを使用して 4D フィーチャー ボリュームを作成する
  • キャリブレーション＋球面掃引で実現
    • この論文では、マルチ魚眼カメラ リグ モデルと球面スイープ法を使用します。
• 3. マッチングコストボリュームの計算
  • 3D CNN による正則化
• 4.深度推定
  • softargmin を使用して実行

マルチフィッシュアイ カメラ リグ

マルチカメラの中心では、単位ベクトル$\vec{p}$リグ全体の方向を示します。

• 単位ベクトル$\vec{p}$空間で指された点 X は、次のように表すことができます。
  

リグ ベクトル$\vec{p}$球を形成するために指された点の集合

• ボールの半径が ρ の場合、空間点 X からピクセル座標系 x へのマッピングは次のように表されます。
  

球状掃引

カメラ リグ モデルでp ⃗ \vec{p}を設定することによって$\vec{p}$異なるサイズの球は、長さ ρ (球の半径) で取得できます。

• ρ は、逆深度$d_{}$設定する
  • 逆深度が0～$d_{マエックス\_}$、対応する深度範囲は$\frac{}{d_{マエックス\_}}$無限に

魚眼マップとのマッピング関係を持つ N 個の球体を設定します (対応する特徴マップが実際に使用されます)。

特徴の学習と調整

2D CNN によって得られる単項特徴マップは次のように表されます。$う={ふ}_{CN}\left(私\right)$

• 分解能は$\frac{}{r}{H}_{}\times \frac{}{r}{W}_{}\times ハ$
• $H_{}$和$W_{}$入力画像の高さと幅、$r$は削減係数、$C$はチャンネル数

機能マップは、上記の球面スイープ方法によってボールにワープします:
機能マップの特定の用途:

• 較正された内因性および外因性パラメーター
• 座標ルックアップ テーブル
• 2D バイリニア補間 i

N 個の球体の場合、隣接するワープされた特徴マップに十分な視差があり、計算オーバーヘッドが削減されるようにするため

• 球は$n\epsilon [0、2、\dots ，N-1]$
• 歪んだ 4D 特徴ボリューム$S_{}$サイズは$H\times W\times \frac{}{2}\times ハ$

また

• 勾配は、バックプロパゲーション中に逆方向に分散されます。
• 各入力画像のマスク$M_{}$、有効な領域外のピクセルは、ラップとバックプロパゲーションで無視されます。

ネットワーク アーキテクチャ

• 最初に魚眼グレースケール画像を入力し、2D CNN を介して元の画像の半分のサイズの特徴マップを取得します
• 次に、 3 × 3 conv 3 × 3 convを介して、球面スイープによって位置合わせされた機能$3\times 3conv$を球面フィーチャに転送し
  、球面フィーチャ マップを連結して渡す$3\times 3\times 3conv$コストボリュームへの融合
• コストボリュームは、3D エンコーダー/デコーダーによって洗練され、正則化されます。
• 最後に、softargmin を適用して逆深度を取得します。
  

ネットワークをエンドツーエンドでトレーニングするために、入力画像とグラウンド トゥルースの逆深度が入力として使用されます。

損失は​​、予測された逆深度とそのグラウンド トゥルースの絶対誤差損失です。