今日読んだのは、2023 年に TIP で公開された記事です。この記事では、法線を使用して MVS 問題を解決しています。
記事リンク:ここをクリックして
コード リポジトリに移動します: Github
抽象的な
ノーマル一貫性モジュール (DNHC) に基づく深い仮定と、信頼性の高いアテンション モジュール (DRRA) による深い改良を備えた、粗いから細かいまでの構造が提案されています。DNHC は、同じ法線を持つ隣接ピクセルから深度仮説を収集するため、特にテクスチャのない繰り返しテクスチャ領域において、予測される深度がよりスムーズかつ正確になります。DRRA は、ラフ段階で初期深度マップを更新するために使用されます。これにより、参照画像の特徴とコスト ボリュームの特徴を組み合わせて、深度推定の精度を向上させ、累積誤差の問題を解決できます。
1 はじめに
MVS の基本的なプロセスを紹介します。
2 関連作品
従来のアプローチ、学習ベースのアプローチが紹介され、法線を使用した深度推定と深度マップの改良について説明します。
3 方法
DHNC は、ピクセルの周囲のピクセルの法線に基づいて深度の仮定の更新をガイドするために使用されます。
DRRA は深度マップの最適化に使用されます。DRRA は mini-ViT を使用してアテンション特徴量を取得します。まず、ref マップと初期深度マップの特徴量を連結し、次に畳み込みを実行してチャネル数を減らし、それを渡します。変換器に渡して取得します。結果は元の特徴とドット乗算されます。さらに、ブランチはコスト ボリュームに対してアテンション メカニズムを動作させるようにも設計されています。
損失関数は、レイヤーごとの L1 損失を使用することです。
4 点群の再構成
深度マップ フィルタリングとフュージョンの 2 つのステップが導入されています。
5 実験
2 つのモジュールの機能は異なるベースラインで検証されており、スコアも SOTA に非常に近くなっています。
