CVPR2023 | 動的領域セグメンテーションは不要! マルチフレーム深度推定の新たな進歩: クロスキューアテンションメカニズムにより動的領域の精度が向上

タイトル: 動的

シーンにおけるマルチフレーム深度推定のための単眼およびマルチビューキューの融合の学習論文: https://arxiv.org/pdf/2304.08993.pdf

コード: https://github.com/ruili3/dynamic-multiframe -深さ

ガイド

マルチフレーム深度推定は、静的シーンにおけるマルチビューの一貫性に依存して、高精度の結果を取得します。ただし、屋外シーンでは、静的な仮定に違反するさまざまな移動領域が存在するため、動的領域でのマルチフレーム法の精度は大幅に低下します。本論文では, 動的シーンに適したマルチフレーム深度推定ネットワークを提案する. 提案されたクロスキューアテンションメカニズムを通じて,Cross-cue attentionマルチフレーム/シングルフレーム深度キューの利点を効果的に組み合わせ, さらに強化する.動的領域セグメンテーションを導入することなく,動的領域での深度推定の効果は、シングル/マルチフレーム法よりも大幅に優れています。

モチベーション

これまで、マルチフレームの深度推定方法では、動的領域の深度推定の問題を解決するために、「動的領域のセグメンテーション + 単一フレームの推定と補償」という考え方が使用されていました。しかし

この方法は、動的領域セグメンテーションの結果に非常に敏感であり、セグメンテーションの精度により、さらなる不確実性が導入されます
動的領域の精度は、単一フレームの推定効果によって制限されることが多く、単一フレームに基づいて大幅な改善を達成することは困難です

これに基づいて、この論文では次の質問を検討します。

動的領域セグメンテーションを導入せずに、マルチフレーム/シングルフレーム精度よりも大幅に優れた動的深度結果を達成できますか?

シングルフレーム/マルチフレームキューのパフォーマンス (左から右へ: 深度マップ、エラーマップ、再構築された点群)

上の図に示すように、動的シーンにおける単一フレーム/複数フレームキューのパフォーマンスをさらに分析することにより、単一フレームキューは動的オブジェクトの形状をより適切にキャプチャできるが、静的シーンの精度は不十分であることが論文でわかりました。 ; マルチフレーム方式の静的精度は非常に低い. 高いが、動的領域にシーン構造の明らかな変形があります. 2 つのリードの補完的な性質は、相互強化の可能性を示しています。

マルチフレーム静的構造情報は、単一フレームの全体的な精度を向上させ、単一フレームの動的領域の精度をさらに向上させることができます
単一フレームの動的構造情報を使用して、複数フレームの動的領域の精度を高め、最終的に高精度の動的シーン深度を出力できます

この目標を達成するために、この論文では、明示的なセグメンテーションなしで2つの深度キューの効率的な融合を実現するためのクロスキュー融合モジュールを提案しますCross-cue Fusion module。

方法

メソッドの全体的なフレームワーク

ターゲット画像 $I_t\in \mathbb{R}^{H\times W}$ 、隣接フレーム $I_{t-1}、I_{t+1})$ およびシーンの内部および外部パラメーター $K 、 T$ 、このペーパーの目標は、単一/マルチフレーム情報の融合を使用して、ターゲットフレーム $I_t$ 深度値 $D_{t} \in \mathbb{R}^{H\times W}$ . 上の図に示すように、この論文の主なモジュールには、単眼/マルチフレームデプスキューコストボディ構造、シングル/マルチフレームデプス情報クロスキューフュージョンモジュール (クロスキューフュージョン)、および深度マップ回帰ネットワーク (Depth Module) など

シングル/マルチフレームのコストボディ構造

シングル/マルチフレームコストボリュームは、それぞれシングル/マルチフレーム情報によって伝達される深度キューを表します。マルチフレームコストボディの構築は、マルチビューステレオマッチングコストボディの構築に従います $k=1}^M$ 、Plane-sweeping メソッドを使用して、ターゲットグラフ $I_{t}$ 任意のピクセルと、隣接するフレームに対応するエピポーラライン上のサンプリングポイントとの間の一致する類似度を計算します。
次に、マルチフレームマッチングコストボディ $C_{\text {multi }} \in[0,1]^{H \times W \times M} を取得します。$ 。 $C_{\text {multi }}$ の場合 $ハ$ マッチングベクトル C multi ( i , j ) ∈ RM C_{\text {multi }}(i,j)\in \mathbb{R}^{M} の各ピクセル $ハ (私, j) ε R^{M}$ 。類似度が大きいチャネルは、それが表す深度値が真の深度に近いことを示します。

単一フレームのコストボディを構築するには、最初に単純な U-Net を使用してターゲットフレーム $I_{t}を生成します。$ 単一フレーム深度マップ $D_{\text {mono }}=f_\theta^{\text {mono }}\left(I_t\right)$ 、単一フレームの結果を融合のためのマルチフレームコストボリュームのサイズに合わせるために、単一フレームの深度マップを深度コストボリューム C mono ∈ { 0 , 1 } H × W × M に変換します $C_{\text {mono }} \in\{0,1\}^{H \times W \times M}$ 。ピクセル $C_{\text {mono }}(i, j) \in \mathrm{R}^M$ はワンホットベクトルとしてエンコードされます

$C_{\text {mono },(i, j)}[k]=\ left\{1 \mid d_{\text {mono }} \in\left(d_{k-1}, d_k\right]\right\}_{k=1}^M. \\$

クロスキューフュージョンモジュール

シングル/マルチフレームのコストボディを取得 $C_{mono},C_{multi}$ 最後に、この論文では、2 つを融合し、相互に改善するためのクロスキュー融合モジュール (Cross-cue Fusion Module、CCF) を提案します。上の図に示すように、クロスキューアテンションメカニズム (クロスキューアテンション、CCA) と残留接続で構成されます。

$C_{mono}、C_{multi}$ を入れます。 $ハ_{モノノ__} 、ハ_{マルチ__}$ 両方の特徴 $F_{\text {mono}}, F_{\text {multi}} \in \mathbb{R}^{h \ times w \times M}$ 、クロスキューアテンションメカニズム (CCA) を使用して相互を強化します。

$F～マルチ＝CCAマルチ（Fモノ、Fマルチ）、F～モノ＝CCAモノ（Fマルチ、Fモノ）。\begin{aligned} & \widetilde{F}_{\text {multi }}=\mathrm{CCA}_{\text {multi }}\left(F_{\text {mono }}, F_{\text { multi }}\right), \\ & \widetilde{F}_{\text {mono }}=\mathrm{CCA}_{\text {mono }}\left(F_{\text {multi }}, F_ {\text {mono}}\right)。\end{整列}$

クロスキューアテンションメカニズム (CCA) は、強化された機能F ~ $\widetilde{F}_{\text {multi }}、\widetilde{F}_{\text {mono}}$ . フィーチャを接続すると、フュージョンフィーチャ $\widetilde{F}_{\text {fused}}$ 、残りの接続 j を使用して $\widetilde{F}_{\text {fused }}を変換します$ $F_{\text {cat}}$ の情報 $ふ$ 混ぜる

$F=\gamma \widetilde{F}_{\text {fused}} \uparrow+F_{\text {cat}}.$

どこで $F_{\text {cat}}$ 代表 $C_{mono},C_{multi}$ 接続後の浅い CNN によって処理される特徴 $\gamma$ は学習可能なパラメーターです。機能 $F$ は深度推定ネットワーク (深度モジュール) に入力され、最終的な深度推定 $D_{t}$ 。

クロスキューアテンションメカニズム

クロスキューフュージョンモジュールの重要な部分であるクロスキューアテンション (CCA) には、マルチフレーム機能とシングルフレーム機能をそれぞれ強化する 2 つの並列ブランチがあります。簡単にするために、 $\widetilde{F}_{\text {multi }}=\mathrm{CCA}_{\text {multi }}\left(F_ { \text {mono }}, F_{\text {multi }}\right)$ メソッドプロセスを説明するための例として。

与えられたシングルおよびマルチフレーム機能 $F_{\text {mono}}, F_{\text {multi}} \in \mathbb{R}^{h \times w \times M}$ 、畳み込みを使用して $F_{\text {mono}}$ クエリ機能に変換 $Q_{\text{mono}}$ そして重要な機能 $K_{\text{mono}}$ 、一方で $F_{\text {multi}}$ 値の機能に変換 $V_{\text{mono}}$ . 単一フレームのキューからエンコードされた $Q_{\text{mono}}を利用します$ 和 $K_{\text{mono}}$ 内部相対注意重み $R_{\text{mono}}を計算します$ 、単一フレーム深度キュー内の相対的な構造関係を構築します

$R_{\text {mono }}=\operatorname{Softmax}\left(Q_{\text {mono }} \otimes K_{\text {mono }}^ T\右)、$

次に、単一フレームの手がかりの相対的な構造関係情報を、行列乗算操作を介して $V_{\text{multi}}に転送します。$ $\widetilde{F}_{\text {multi}}$ で表されるマルチフレーム機能 $ふ$
$\widetilde{F}_{\text {multi}}=R_{\text {mono}} \otimes V_{\text {multi}}.$
シングルフレーム機能を強化する場合も同様の計算方法に従います $\widetilde{F}_{\text {mono}}=\operatorname{CCA }_{ \text {mono}}\left(F_{\text {multi}}, F_{\text {mono}}\right)$ 。

動的領域（赤い点）のシングルフレーム内部構造情報（$R_{\text {mono}}$）とマルチフレーム内部構造情報（$R_{\text {mono}}$）の可視化

クロスキュー強化におけるCCAの領域選択的特性

クロスキューアテンションメカニズム (CCA) は、学習可能な方法でシングル/マルチフレームキューで相互に改善するのに役立つ構造情報を選択的に転送できるため、明示的な動的オブジェクトセグメンテーションメソッドの導入を回避できることがわかりました。上の図に示すように、動的領域のサンプリングポイント (列 1 の赤い点 $R_{\text {mono}}、R_{\text {multi}} を実行します。$ ネットワークによって学習された構造情報の分布を示す視覚化。これは、各深度キューで相互に改善するのに役立ちます。の

単一フレームキューによって伝達される情報 (列 2) は動的領域の周囲に集中しており、ネットワークが動的領域内の単一フレームキューから有用な情報を学習し、それを複数フレームキューに渡すことができることを示しています。
ただし、マルチフレームキュー (列 3) によって伝達される情報は、より広い静的領域に分散されており、ネットワークが静的領域のマルチフレームキューから有用な情報を学習し、それを単一フレームキューに渡すことができることを示しています。

異なる深度キューの下での CCA の情報転送の領域選択性は、動的な領域セグメンテーションを必要とせずに高精度の深度推定の可能性を示し、したがって追加のセグメンテーションメカニズムの導入を回避します。

実験結果

KITTI実績

KITTI オドメトリデータセットの評価結果

KITTI Odometry データセットの可視化結果

上記のように、この論文はKITTI Odometryデータセットを比較し、マルチフレーム動的シーンの全体的な精度と動的領域の精度をそれぞれ示しています。以前の最適な方法と比較して、この方法の動的誤差は21% 以上 (Abs.Rel 0.141 $\rightarrow $ 0.111)大幅に減少し、同時に最高のグローバル深度推定精度を実現します。視覚化の結果は、この方法が動的領域の深度推定誤差を大幅に削減し、動的オブジェクトの構造とより一致する 3D 点群を再構築できることを示しています。

データセット間の一般化の比較

DDAD データセットの汎化評価

KITTI訓練されたモデルはデータセットでテストされます.DDAD実験結果は, 論文が現在の最良の方法と同じ全体的な一般化精度を達成できることを示しています. .

シングルフレームに対する能力向上とスケーラビリティ評価

単一フレームの推定とモデルのスケーラビリティ評価に関連する動的オブジェクトの改善

以前の方法では、単一フレームの推定精度が動的領域の影響を制限する重要な要因でした。この論文は、動的オブジェクト領域でのそれぞれの単一フレームネットワークと比較して、さまざまな方法のパフォーマンスの向上を示しています。であり、その単一フレームの分岐推定誤差よりも低くなっています。 $21.81$ % で、他の方法よりも大幅に優れています (上の表の 1 ～ 3 行目)。同時に、より優れた単一フレーム推定ネットワークを適用した場合、論文はより優れた単一フレームのパフォーマンス (上の表の行 3 ～ 4) に基づいて同じ改善を達成し、その柔軟性とスケーラビリティを示しています。

要約する

本論文は動的シーンのための新しいマルチフレーム奥行き推定法を提案する。シングル/マルチフレーム深度キューをより適切に融合し、相互に改善することで、モーションセグメンテーションを使用しない高精度の動的領域深度推定が実現されます。実験は、この方法がより優れた全体的/動的領域深度推定効果を達成し、優れた一般化とスケーラビリティを備えていることを証明しています。