[論文ノート] RCM-Fusion: 3D 物体検出のためのレーダーとカメラのマルチレベル融合

元のリンク: https://arxiv.org/abs/2307.10249

1 はじめに

  現在の一部のレーダーとカメラの融合 3D オブジェクト検出方法は、インスタンスレベルの融合を実行し、カメラ画像から 3D 提案を生成し、それらをレーダー点群と関連付けて提案を修正します。ただし、この方法は初期段階でレーダーを使用せず、カメラの 3D 検出器に依存しており、融合は画像ビュー内で発生し、レーダー点群の曖昧性が高いためにマルチモーダル データの関連付けが不正確になる可能性があります。
  本稿では、BEVの機能を融合するためのレーダーカメラマルチレベル融合（RCM-Fusion）手法を提案する。まず、レーダー データを使用して画像特徴変換を BEV に導き、3D 境界ボックスを生成する特徴レベルの融合が実行されます。次に,格子点に基づく提案特徴融合を使用して,インスタンスレベル融合を実行して提案を修正する.
  特徴レベル融合について,本稿では,レーダーの位置情報を使用して画像特徴をBEVに変換するレーダー誘導BEVクエリを設計する。次に、レーダー カメラ ゲート モジュールがマルチモーダル BEV 機能に重み付けを行い、集約します。この適応特徴集約モジュールは、高密度の BEV クエリ特徴をデコードするために Transformer に統合されています。インスタンス レベルの融合では、レーダー ポイントと 3D 提案の間の相関を考慮してレーダー ポイントの特徴を取得する、提案認識レーダー アテンション モジュールが提案されています。

2.関連作品

2.3. 2段階の3Dターゲット検出

  2 段階の LIDAR ベースの 3D オブジェクト検出器は、提案ボックス内の LIDAR 点群を使用して提案を修正します。方法は 2 つあり、1 つ目は提案に関わるいくつかの点をキーポイントとし、PointNet++ を使用してキーポイントに基づいて特徴を抽出する方法です。2 番目の方法では、グリッド ポイントと呼ばれる仮想点のセットを定義し、グリッド ポイントに基づいて特徴を抽出します。この論文では、提案内の点群分布を考慮することが 2 段階検出器の重要な部分であると考えており、格子点法を使用して点群分布に基づいてキーポイントを生成します。

3. 方法

  ネットワーク構造を次の図に示します。

3.1. レーダーと画像バックボーン

  ResNet-101 と FPN を使用したマルチスケール画像特徴$F_{}$;PointPillars を使用してレーダー BEV 特徴マップ$F_{}\in R^{高さ\times 幅\times 高さ}$。

3.2. レーダー誘導型 BEV エンコーダー

  初めて使用$F_{}$レーダーの位置情報を含むレーダー誘導 BEV クエリ (RGBQ) を生成します。次に、RGBQ を使用してマルチモーダル機能を強化された BEV 機能に変換します。最後に、レーダー カメラ ゲーティング (RCG) は、各モダリティの情報量に基づいてマルチモーダル ゲーティング集約を実行します。
  レーダー誘導 BEV クエリ: この論文はレーダー位置情報を使用し、$F_{}$BEV クエリ (RGBQ) の生成$Q^{RG}\in R^{高さ\times 幅\times 高さ}$。具体的には$F_{}$BEV を使用して$Q\in R^{H\times W\times C}$スプライシング後、変形アテンション (DeformAttn) モジュールを通じて$Q^{RG}$：$$Q_p^{}=\underset{V\in \{Q,F_{}\}}{}\text{DeformAttn}(Q_{}、p、V)$$ここで$Q_p^{}$と$Q_{}$それぞれ BEV ピクセル$p=(x,y)$でクエリを実行します次に、$Q_p^{}$空間クロス アテンション (SCA) ブロックを介した補正されたカメラ BEV 特徴$B_{}$および修正されたレーダー BEV 特性$B_{}$：$$\begin{gathered} B_{}={\text{SCA}}_{}(Q_p^{}、F_{}) \\ {B}_{}={\text{SCA}}_{}(Q_p^{}、F_{}) \end{gathered}$$ここで、SCA は$Q_p^{}$モーダル フィーチャへの投影とそれに続く変形可能なクロスアテンション操作。
  レーダー カメラ ゲーティング:重み付けされた組み合わせによる$B_{}$BR B_R付き$B_{}$：$$B_{}=\left\{\sigma \right({\text{変換}}_{}[B_{};B_{}])\odot B_{}\}\oplus \left\{\sigma \right({\text{変換}}_{}[B_{};B_{}])\odot B_{}\}$$ここで、$B_{}$融合 BEV 特徴マップ$\sigma (\cdot )$はシグモイド関数$\odot$、$\oplus$和$[\cdot ;\cdot ]$はそれぞれ、要素ごとの乗算、要素ごとの加算、およびチャネル スプライシングを表します。次に、$B_{}$ベースライン スキームBEVFormerと同じ方法で、正規化およびフィードフォワード ネットワークを使用します。リピート BEV エンコーダ (すべてこのセクションに含まれます) $L$回の後、最終的な BEV 特徴マップが生成されます。BEVFormer と比較すると、この方法はより正確な BEV 特徴マップ (特徴が実際の境界ボックスの近くに集中している) を生成できますが、前者には十分な深度情報が不足しています。

3.3. レーダー格子点補正

  プロポーザル認識レーダー アテンション (PRA) は、3D プロポーザルと関連するレーダー点群を入力として受け取り、MLP ベースのアテンションを使用して各ポイントの重要性を判断します。次に、レーダー グリッド ポイント プーリング (RGPP) を使用して、レーダー ポイントの特性と分布を考慮してグリッド ポイントをサンプリングし、レーダー ポイントとマルチスケール画像の特徴をグリッド ポイントに集約して、洗練された特徴を生成します。洗練された機能と最初の提案機能が組み合わされて、最終出力が生成されます。
  提案認識レーダー アテンション: CRAFT のソフト ポーラ アソシエーション (SPA) を使用して、レーダー ポイントを 3D 提案に関連付けます。まず、3D 提案とレーダー点を極座標系に変換し、半径距離と水平角が一定範囲内にあるレーダー点を 3D 提案に関連付けます。ただし、範囲が 3D 提案よりも大きいため、これにより、3D 提案に関連付けられるポイントが増えます。PRA を導入します。$b=(c、ｗ、l、ｈ、私、v_{})$は、中心位置がc \mathbf{c}である 3D 提案を表します。$c$、3D 寸法は$(w、l、h)$、配向角は$\theta$、速度は$v_{}$。bbと$b$に関連する$K\; 個の$レーダー ポイントは { rk } k = 1 K \{r_k\}_{k=1}^Kとして記録されます。$\{r_{}{\}}_{k=1}^{}$、k$k$点${あなた}_{}\in R^{\mathrm{３}}$．点単位の分数ベクトル$s_{}$各ポイントの重要性を判断するには、関心の${ある}_{}$: $$\begin{gathered} s_{}={\text{MLP}}_{}([{\text{MLP}}_{}\left(r_{}\right);d(c-{あなた}_{})]) \\ {ある}_{}=\text{ソフトマックス}（s_{})\odot {\text{MLP}}_{}\left(r_{}\right) \end{gathered}$$ここで、MLP はチャネル次元$\delta (\cdot )$は位置エンコーディングを表します。

  レーダー格子点プーリング:格子点ベースの補正モジュールにとって、格子点の位置と数が最も重要です。本稿ではレーダー点の位置誤差とスパース性を考慮してRGPPを提案する。上の図に示すように、 3D プロポーザル \mathbf{v}_\text{pred} の速度ベクトル$v_{}$これは接線速度$v_{}$および動径速度$v_{}$。k番目については$k$レーダー ポイント$r_{}$、$T$格子点$\{g_k^{}{\}}_{t=0}^{T-}$次のように${あなた}_{}$定義: γ = { ρ min ⁡ , ∣ v Tan ⁡ ∣ ≤ ρ min ⁡ ∣ v Tan ⁡ ∣ , ρ min ⁡ < ∣ v Tan ⁡ ∣ < ρ max ⁡ ρ max ⁡ , ∣ v Tan ⁡ ∣ ≥ ρ max ⁡ gkt = γ ⋅ ( t T − 1 − 1 2 ) ⋅ v Tan ⁡ ∣ v Tan ⁡ ∣ + uk , t = 0 , ⋯ , T − 1 \gamma=\left\{\begin{行列} \rho_{\ . min}, & |\mathbf{v}_{\tan}|\leq\rho_{\min}\\ |\mathbf{v}_{\tan}|, & \rho_{\min}<|\ mathbf {v}_{\tan}|<\rho_{\max}\\ \rho_{\max}, & |\mathbf{v}_{\tan}|\geq\rho_{\max} \end{行列 }\right.\\g_k^t=\gamma\cdot \left(\frac{t}{T-1}-\frac{1}{2}\right)\cdot \frac{\mathbf{v} _ {\tan}}{|\mathbf{v}_{\tan}|}+\mathbf{u}_k, \;\;\; t=0,\cdots,T-1c=⎩ ⎨ ⎧r私は_、∣ vたぬ_ _∣ 、rマックス_ _、∣ vたぬ_ _∣≤r私は_r私は_<∣ vたぬ_ _∣<rマックス_ _∣ vたぬ_ _∣≥rマックス_ _​gkた=c⋅(T−1た−21)⋅∣ vたぬ_ _∣vたぬ_ _​+あなたｋ、t=0 、⋯、T−1この
記事は速度の接線方向に沿っています ($v_{たぬ\_}$) レーダー ポイントは一般に接線方向のノイズが大きいため、ポイントのグリッドが作成されます。格子点間の距離と接線速度$v_{たぬ\_}$サイズに関係します。したがって、この 3D 提案には$KT$グリッド点。次に、最遠点サンプリングを使用して$M$格子点$\{g_{}{\}}_{m=1}^{}$。
  次に、セット抽象化 (SetAbs) を使用して各グリッド ポイント$g_{}$周囲のレーダー ポイント、レーダー ポイントの特徴を取得$F_{メートル}^{}$：$$F_{メートル}^{}=\text{SetAbs}({\{}_{}{\}}_{k=1}^{}、\{r_{}{\}}_{k=1}^{}、g_{})$$同時に、格子点が画像特徴マップ$F_{}$双線形サンプリングによる画像特徴$F_{メートル}^{}$：$$F_{メートル}^{}=\text{バイリニア}(F_{}、\text{なぜなら}(g_{}))$$ここで、$\text{proj}(\cdot )$は投影プロセスを表します。最後に、提案特徴量は次のように取得されます。$$F_{メートル}^{}=\text{マックスプール}(F_{メートル}^{}\oplus F_{メートル}^{})$$上記の提案フィーチャは、最初の提案フィーチャとマージされ、3D プロポーザルが修正されます。

3.4. レーダーデータの前処理

  本論文は、レーダ点が有効であるかどうかの判定の厳密性を緩和し、複数のフレームを蓄積する（車両運動補償および点運動補償を実行する）ことによって、レーダ点群の密度を高める。

4. 実験

4.2. 実装の詳細

  画像ブランチは FCOS3D の事前トレーニングされた重みを使用し、レーダー ブランチは最初からトレーニングされます。クラスバランシング戦略 CBGS はトレーニング中に使用されます。

4.3. データの拡張

  レーダー ポイントを画像ピクセルに関連付けることにより、画像データ拡張と BEV データ拡張が使用されます。GT 拡張は極座標で使用され、空ではない (つまり、レーダー ポイントを含む) 実際の境界ボックスの数を増やす方法が使用されます。

4.4. nuScenes データセットの結果

  この方法のパフォーマンスは、カメラベースおよびカメラとレーダーの融合方法を大幅に上回る可能性があります。

4.5. nuScenes 検証セットでのアブレーション実験

  コンポーネント分析: RGBQ は最高のパフォーマンス向上をもたらしますが、RCG、RGPP、および RPA はわずかなパフォーマンス向上をもたらします。
  レーダー格子点サンプリングの役割：格子点に適さない手法や従来の格子点生成手法と比較して、本記事の適応格子点生成手法は最も優れた性能を発揮します。規則的な格子点の生成は、まばらなレーダーの特性の影響を受け、一部の格子点の周囲にレーダー点がなくなり、有効な格子点の数が減少します。
  データ拡張: 画像データ拡張と BEV データ拡張はどちらもパフォーマンスを大幅に向上させることができ、極座標 GT 拡張はパフォーマンスをわずかに向上させることができます。
  レーダー ポイント フィルタリング: 生のレーダー ポイントを適切にフィルタリングすると、特定のパフォーマンスが向上します。