参照コード：MCDP
導入
この記事では、異なるカメラの下でのマルチビューの自己監視深度推定の深度表現に対する一貫性制約を構築します。制約を確立するための情報は、隣接するカメラ間の視野角の重複領域から得られます。下の図に示すように、これらの領域は可能です。異なる視野角間
の深度制約関係は、異なるカメラ間の外部パラメータを調整することによって構築されます、つまり、周囲のカメラによって予測される深度は、投影後のターゲット カメラの深度値との差を最小限に抑える必要があります。
損失レベルでさまざまな視点で深度制約を構築することに加えて、初期深度推定結果はチャネル レベルでも特徴表現の次元で重み付けされるため、深度表現がより表現力豊かになり、重み付け係数を繰り返し最適化できるようになります。メソッド カスケードは深度推定結果を最適化します。
ただし、論文のアブレーション実験では、深さの一貫性に対する特徴次元と損失次元の寄与は比較されませんでした. マルチスケール推定は、古典的な自己教師あり深さ推定でも使用されます. 損失次元の制約がさらに、これはカスケード最適化とみなすこともできます。
メソッド設計
深度重み係数の反復更新
ここで、ネットワークの最終生成結果は、最初の奥行き推定結果と重み付け係数の重ね合わせとして記述され、最初の奥行き推定結果は変化しないまま、重み付け係数は異なる反復ラウンドで継続的に最適化されます。つまり、下図の反復に対応して
、隣接する視点情報に追従して奥行き重み付けの重みを変更するには、2つの情報を融合する必要があり、この部分がターゲット特徴マップに合わせられます。記事内で言及されているカメラ1とカメラ2のワープ操作である収集位置ワープの形で表示されます。整列された特徴量は重み付け係数を更新するためにカタル化され、その構造は次の図に示すとおりです。
深い整合性制約の損失
下の図では、左右のビューと中央のビューの間に重なっている領域があることがわかります。その後、ワープを使用して、左右のビューの奥行き推定結果を中央のビューに揃えます。上記の手順は次のとおりです:
深さの調整、調整後の深さの結果は、中央のビュー自体によって推定された深さと一致する必要があり、L1 損失関数を使用してそれらの差を最小限に抑えることができます。
以下の図は、論文の手法を用いて異なる視野角での奥行き推定を行った結果を示しており、この制約を追加したことで、異なる視野角での奥行き差が大きくなる状況が緩和されていることがわかります。
3. 実験結果
