自動車レーダー検出ポイントに基づくディープインスタンスセグメンテーション
1 つの違い:
自動車レーダー 車レーダー:
解像度が低く、点群がまばらで、意味的に曖昧で、高密度の LiDAR 点開発の方法を直接使用するのには適していません。
返されるオブジェクト画像は LIDAR ほど正確ではなく、雨、雪、みぞれ、ひょう、霧、泥、塵の中で返される可能性があります。
また、夜間や曇天では LIDAR よりも正確です。
レーザー光線の代わりに電波を放射します
LiDAR ライダー:
レーザー波は電波より短いため、ライダーは物体のより詳細な画像を生成できますが、高価です。
左 LiDAR；右 RADAR
===========================================
質問する：
点群インスタンスのセグメンテーションに関する電波レーダーの実際的な問題から始めます。
問題 1: レーダー測定点の解像度が低いため、ライダー測定点群よりもまばらでノイズが多く、意味論的および幾何学的情報が欠如しており、物体の形状などの一部の幾何学情報は、レーダー測定点群では反映できません。ポイントの配布が難しくなり、局所的な情報不足が生じます。
問題 2: 自動車の運転にはレーダー データのリアルタイム処理のためのアルゴリズムが必要ですが、レーダー処理システムのマイクロ セントラル ユニット (MCU) により、モデルに使用できる記憶領域と計算能力が制限されます。
問題を分析します:
問題 1: グローバル特徴情報は、タスクのセグメント化に役立ちます。主流の pointnet++ は畳み込み思考を模倣しており、ローカル特徴を抽出する考え方に従って設計されているため、レーダー検出ポイントのまばらさと曖昧さを解決する深層学習アルゴリズムを設計する方法を教えてください。はい、グローバルな相互作用を学ぶには深いネットワークが必要です
課題２：性能を向上させつつも、現場を考慮し、可能な限り軽量化を目指す
解決：
1.自動車レーダーのまばらな検出点のインスタンスセグメンテーションタスクを目的として,セマンティックセグメンテーションに基づくクラスタリング方法を設計した。このモデルは、PointNet++ のセマンティック セグメンテーション バージョンに基づいて設計されており、新たに導入されたヘッド推定ポイントツーセンター オフセット ベクトル (CSV) が使用されます。これは、検出された各ポイントから、対応するインスタンスの幾何学的中心までのオフセットを表します。クラスタリング プロセス中に、予測された CSV を使用して各ポイントをインスタンスの中心に移動します。これにより、同じインスタンスに属するポイントが近くなり、クラスタリングの精度が向上します。
2. コサイン類似性損失と正規化内積損失の合計を、CSV ガイドによるクラスタリングのパフォーマンスを向上させるために、まばらなレーダー検出ポイントのセマンティック セグメンテーション トレーニング中の損失として使用します。上記で提案した中心オフセットについては、適応損失を最小限に抑えます。予測された CSV と正確な CSV の間の距離
3. モデルのパフォーマンスをさらに向上させるために gMLP を使用することを提案
得られる効果:
平均カバレッジ (mCov) と平均精度 (mAP) は、クラスターベースの分類方法よりそれぞれ 9.0% と 9.2% 高く、エンドツーエンドのインスタンス セグメンテーション方法よりも 8.6% と 9.1% 高くなります。同時に、この方法とその軽量バージョンのメモリ消費量は約 1MB に抑えられ、推論時間は 40 ミリ秒未満であり、車載レーダー マイクロコントローラーに適しています。
具体的な方法:
N はサンプル サイズ、C はバックボーン ネットワークの出力チャネルの数、Nclass はクラスの数、Ndim は元のレーダー検出ポイントのサイズです。入力ポイントは、まずポイントごとの分類ブランチを通じて予測されたクラス ラベルを取得します。次に、同じインスタンスに属するポイントがより集中するように、csv 予測ブランチに従ってその予測された csv を移動します。次に、同じクラス ラベルを持つポイントがクラスター (つまり、インスタンス) にグループ化されます。サンプル フレームのインスタンス セグメンテーションの結果では、異なる色が異なるクラスを表し、同じ円内の点は同じインスタンスに属します。
(a) PointNet++ バックボーン ネットワーク。2 つの SA レベルと 2 つの FP レベルを使用してポイント フィーチャを抽出します。
(b) 予測ヘッドの構造は 2 層 MLP で、セマンティック セグメンテーション ブランチは各ポイントの各クラスのスコアを予測し、csv 予測ブランチでは各ポイントとそのインスタンス中心間の差分を予測します。 。
(c) csvの図、同じ円内の点は同じインスタンスに属します
(d) 全体構造を視覚化するための MLP 強化された PointNet++ バックボーン。視覚化された MLP ブロックは、各コレクション抽象化レベルと機能伝播レベルの後に gMLP を追加します。
学習リファレンス:
gmlp の構造は元の論文に依存します: MLP に注意する
実験的な物語