序文
3D ビジョンの核となる問題は、シーン構造、カメラ ポーズ、およびカメラ パラメータを復元することであり、2 つの解決策があります。1 つはオフライン sfm (モーションからの構造)、もう 1 つはオンライン スラム (同時ローカリゼーションとマッピング) です。 . Slam と sfm の違いは、ほとんどの slam システムは事前にカメラを調整する必要があるのに対し、sfm は事前に調整する必要がないことです (3D 再構成と slam の違いは通常、厳密な意味での sfm と slam の違いです)。
SfMは、グローバルSfM、インクリメンタルSfM、ハイブリッドSfM、分散SfMに分類できますが、ここでは主にグローバルSfMとインクリメンタルSfMについて説明します（主にグローバルSfMを中心に）。
1.グローバルSfM
グローバル SfM ワークフロー:
グローバル sfm の内容には、回転平均と平行移動平均が含まれます。
回転平均
観測: カメラ ポーズのグループの相対回転
ターゲット: カメラの絶対回転を計算する
最適化: L2 ノルム。L2 ノルムを使用する理由は 2 つあります: 1) 適切な回転初期値を推定する 2)
理論的根拠高速収束:
並進平均
観測値: 回転平均と同じ、観測値はポーズの 2 つのグループ間の相対的な並進です
ターゲット: カメラの絶対回転を計算します
最適化: L1 ノルム、理由は L1 ノルムからノイズ Lubang です
理論的根拠:
並進以下の理由により、グローバル sfm での平均計算は困難です。
- 2 つのビュー間の動きはスケールを復元できません (tvec はエッセンシャル マトリックスから復元されますが、エッセンシャル マトリックスのランクはスケールを含まない 5 であるため、グローバル sfm は 3 焦点テンソル問題、つまり, 少なくとも 3 フレームのタックを実行できます. 同時に, グローバルな sfm は劣化しがちです. カメラが同じライン上にある場合, UAV 画像の場合, この時点で軌跡が表示されます.曲げマップを解く: (1
)
カメラを事前に調整する
(2) ドローンを例にとると、飛行ルートは一定の高度で飛行すべきではありません
(3) GPS 位置制約などの他のセンサーと融合します
。変更され、融合低コスト gps では、次のように劣化現象がなくなります。側面図と上面図を比較すると、飛行パターンが変化し、全体的な sfm の劣化がなくなることがわかります。
- グローバル sfm 変換平均化の 2 番目の問題点は、ノイズに敏感であることです. インクリメンタル sfm とは異なり、一定のランサックとローカル ba を使用して悪い EG の影響を軽減します.
グローバル sfm のロバスト性を向上させる方法:
1) 回転が既知の場合 (十分に正確ではない)、グローバル sfm パイプラインにグローバル回転初期値を提供し、これらの初期値を使用して BA 2 の相対回転制約を増やします
。 ) 位置が既知の場合、sfm は位置制約を追加します。つまり、前の位置と推定位置の間のギャップを最小化します。位置制約はスラム ループを置き換えることができます (低コストの gps の場合、位置制約は精度を保証できません)。 、しかしそれは制御構造の役割を果たすことができます (AR が一般的に使用されます) — vins-fusion アイデアを参照してください。この openmvg は位置制約を実装しています。
二、増分 SfM
インクリメンタル SfM ワークフロー:インクリメンタル sfm は、ここではあまり多くの説明を用意していません. 画像ペアの初期選択のベンチマークは、 1) 十分なマッチング2) 大きなベースラインで
あることに注意してください
3. グローバル sfm とインクリメンタル sfm の長所、短所、および適用シナリオ
アプリケーション シナリオ:
1) 精度ではなく速度を考慮する場合、および画像のオーバーラップが比較的大きい場合、グローバル sfm を使用すると理想的な結果が得られます
。 Incremental sfm を選択. ただし, 大きなシーンでは, 画像の数が増えるにつれてインクリメンタル sfm は遅くなります. 同時に, 誤差の蓄積により, drfit が現れます. この場合, 分散 SfM を使用できます.
参考文献:
1. Rotation Averaging and Strong Duality[J].Anders Eriksson
2. Global Structure-from-Motion and its Application[R]
3. Linear Global Translation Estimation with Feature Tracks[J].Zhaopeng Cui