ICCV 2023 オープンソース | Waymo を潰す! 超強力な 3D ターゲット検出パラダイム DetZero!

著者: ピクルスペッパー風味のチューインガム | 出典: 3D Vision Workshop

公開アカウント「 3D Vision Workshop 」のバックエンドで、「Original Paper」と返信して論文の PDF とコードを取得します。

WeChat を追加: dddvisiona、注: ターゲット検出、グループに引き込みます。業界セグメンテーショングループは記事の最後に添付されています。

0. 著者の個人的な経験

3D ターゲット検出ソリューションはオフボード検出とオンライン検出に分かれており、主な違いはオンラインで実行されるかどうかです。オンライン検出は高速かつ正確ですが、長いシーケンスでは堅牢なターゲット追跡を実現できず、ターゲットの軌道が断片化する傾向があります。比較すると、オフボード検出はマルチフレーム点群情報を利用し、長期連続点群の複雑な表現を学習できます。

オフボード検出の精度は非常に高く、リアルタイムでは実行できませんが、このソリューションの主な目的は、長いシーケンスのレーダー点群の 3D ターゲットラベリングを実現することであり、そのラベリング精度は手動ラベリングをも上回ります。ただし、現時点ではオフボード検出に関連するドキュメントはほとんどなく、より古典的なものは 2021 CVPR work 3DAL です。今日、著者は読者を DetZero の最新作品を読むように導きます。Waymo での精度はこの分野で 1 位を達成しており、アルゴリズムはオープンソースであり、高精度 3D 点群注釈に使用できます。こちらも「3Dビジョンワークショップ」の新コース「3D点群目標検出フルスタック自動運転学習ルート」がオススメです！(シングルモーダル+マルチモーダル/データ+コード)》。

1.エフェクト表示

この表はSOTAソリューションをタイムライン上に並べたもので、非常に斬新です。さまざまな SOTA ソリューションによって提案されているタイムラインから判断すると、DetZero は間違いなく精度の不連続な成長を達成しました。

実際の走行効果も非常に優れており、生成された 3D ターゲット検出は真の値とほぼ完全に一致しています。

DetZero の作品はオープンソース化されているので、興味のある友人は作者の Github をフォローしてください。

2. まとめ

既存のオフボード 3D 検出器は、無限シーケンス点群を活用するために常にモジュラーパイプライン設計に従っています。主に 2 つの理由により、オフボード 3D 検出器の可能性が最大限に発揮されていないことがわかりました: (1) オンボードのマルチオブジェクトトラッカーは十分に完全なターゲット軌道を生成できない; (2) ターゲットの運動状態は非常に重要洗練段階では、長期的な時間的コンテキスト表現を使用することは避けられない課題となります。これらの問題を解決するために、私たちは DetZero という名前の新しい 3D オブジェクト検出パラダイムを提案します。具体的には、この論文では、生成されたターゲット軌道の完全性に焦点を当てるために、マルチフレーム検出器と組み合わせたオフライン追跡装置を提案します。注意メカニズム最適化モジュールは、分解回帰法を使用してターゲットを最適化するために、長期シーケンス点群にわたるコンテキスト情報の相互作用を強化するために提案されています。Waymo Open Dataset に関する広範な実験により、DetZero があらゆる最先端のオンボードおよびオフボード 3D 検出方法よりも優れたパフォーマンスを発揮することが実証されました。DetZeroは、85.15 m APH (L2)の検出性能で、Waymo 3D Object Detection Rank 1で1位にランクされていることに注目する価値があります。さらなる実験では、人間による注釈の代わりにこのような高品質の結果を使用できることが検証されています。私たちの実証的研究は、オフボード 3D オブジェクト検出に関する将来の研究の指針となる慣習に関する考察と興味深い発見につながります。

3. アルゴリズム解析

一般的な 3D ターゲット検出はオンライン検出であり、高速かつ正確です。何が問題なのでしょうか?

主な問題は継続性であり、長時間追跡すると追跡軌跡が断片化しやすく、同じターゲットの ID が失われやすく、誤検知の問題が発生する可能性があります。このようにして得られた検出結果をそのまま利用することはできず、後から別のネットワークを利用して最適化を行う場合にも不完全なコンテキスト情報により不一致が拡大してしまいます。

オフボード 3D オブジェクト検出とは何ですか?

簡単にまとめると、モデルサイズや検出速度を気にせず、マルチフレームの点群情報を利用して3D検出精度を向上させることです。実際には、3D ターゲットの検出と追跡のためにレーダー点群の複数のフレームを同時に入力し、フレーム間で一貫した 3D ターゲットのラベリング結果を出力します。

以前の計画はどのように実行されましたか?

オフボード 3D オブジェクト検出では、マルチフレームの点群シーケンスが補完的な情報を提供できると考えられていますが、単一フレームの検出を複数のフレームに直接拡張すると、重大なパフォーマンスの低下が発生します。これは、点群自体が乱れており、複数のフレーム点群を直接積み重ねると非常に混乱するためです。したがって、フレーム中心のソリューションは使用されなくなり、さまざまな点群シーケンスをオブジェクトに処理してからそれらを融合するオブジェクト中心のソリューションが使用されます。したがって、以前のソリューションは基本的に、まずマルチフレーム 3D ターゲット検出を実行してターゲットの初期候補フレームを取得し、次にターゲット追跡用の ID を割り当て、次に ID ごとに点群シーケンスの特徴を抽出し、さらに最適化して、最後にインスタンス化アノテーションを実行します。

この方法の主な問題は、ターゲット機能の共通性を活用していないことです。たとえば、動的ターゲット軌道の場合、ターゲットポイントがまばらな場合、従来の最適化モデル (a) は t2 フレームの密なポイントの特徴を利用できず、t1 フレームで出力されるボックスサイズは正確ではありません。DetZero(b) では、ターゲットポイントが (原点 O1 から O2 まで) マージされ、各フレームからのポイントが正確なサイズ予測に貢献します。

DetZero ソリューションの具体的な違いは何ですか?

DetZero は、まずマルチフレームターゲット検出モジュールとオフライン追跡モジュールを使用して完全なターゲット軌道を生成し、次にアテンションメカニズムに基づく最適化モジュールを導入して、長期の時間的コンテキスト情報を使用してターゲットの属性 (サイズ、位置、信頼度) を予測し、最後にworld 座標系からフレーム座標系への変更により、自動ラベリング検出結果が得られます。DetZero は、アップストリームでの高再現率の検出と追跡、およびダウンストリームでの長期の時間的コンテキストを使用した洗練された高精度の最適化を重視します。

ターゲットデータの準備では、特定の ID を持つターゲット軌跡 (点群、境界ボックス列、信頼度) が取得され、さらなる最適化が必要になります。以前は、オブジェクト中心のメソッドは状態ベースの戦略を使用して実装されていましたが、これは誤分類の伝播につながり、ターゲット間の潜在的な類似性が無視されます。しかし、DetZero の記事の著者は 2 つの現象を発見しました: (1) 剛体の運動状態に関係なく、幾何学的形状は継続的な期間にわたって大きく変化しません。(2) ターゲットの運動状態は規則的なパターンを示し、隣接する瞬間に強い一貫性があります。

これら 2 つの観察に基づいて、著者はアテンションメカニズムを使用して、上流のタスクから取得した境界ボックスを 3 つの異なるモジュールに分解し、オブジェクトの形状、位置、信頼度をそれぞれ予測することを提案します。ターゲットの境界ボックスを調整し、座標を変更すると、最終的な自動ラベル付け結果が得られます。

4. 実験

DetZero は Waymo データセットに対して多くの実験を行っており、使用される評価指標には、L1 レベルと L2 レベルを含む AP (平均精度) と APH (加重平均精度) が含まれます。L1 評価には 5 つを超える LiDAR 点群を持つオブジェクトが含まれ、L2 評価には 1 つ以上 5 つ以下の LiDAR 点を持つ 3D ラベルのみが含まれます。最も重要なメトリクスは mAPH (L2) であることに注意してください。こちらも「3Dビジョンワークショップ」の新コース「3D点群目標検出フルスタック自動運転学習ルート」がオススメです！(シングルモーダル+マルチモーダル/データ+コード)》。

他の SOTA ソリューションと比較して、DetZero の mAPH L2 は 85.15 に達し、Vehicle での同じタイプの 3DAL (2021 CVPR) の 5.93 (L1) および 9.51 (L2) mAPH を上回り、長期シーケンスポイントの強力な利用を示しています。 3D オブジェクト検出を実行します。

以下は、他の SOTA ソリューションと上流部分のみおよびすべてのモジュールとの比較であり、アブレーション実験に似ています。上流モジュールによって生成された高品質のターゲット軌道のおかげで、完全なモデルは大幅に改善され、車両では 6.49 (L1) および 7.68 (L2) mAPH、歩行者では 3.99 (L1) および 4.67 (L2) mAPH となりました。

後者の実験は非常に興味深いもので、DetZero のラベル付け機能が手動のラベル付けを超えていることを示しています。

アブレーション実験では、各モジュールの役割を実証します。

最後の一般化実験は非常に重要だと感じます. これは主に最終最適化モジュールを目的としています. 著者は推論のための入力として異なる品質の 3 つの上流の結果を使用します. low はベースライン最適化モジュールを表し、refine は著者が提案したモジュール、improvement は画像情報を使用して上流候補ボックスのパフォーマンスをさらに向上させることを表します。

5. まとめ

DetZero は、長期シーケンス点群を入力として使用する SOTA オフボード 3D 検出器です。主なアイデアは、まずマルチフレームターゲット検出器とオフライントラッカーを使用してターゲット軌道を取得し、次にクロスアテンションメカニズムを使用して、ジオメトリ、位置、信頼性を計算し、自動ラベル付けの結果を最適化して取得します。DetZero は、非常に高い精度で Waymo データセットで 1 位を獲得し、3D ターゲットの検出とアノテーションに使用できます。最後に、紙面の都合上、すべての実験結果を掲載しているわけではありませんが、興味のある方は論文の原文をじっくり読んでみてください。

-終わり-

3Dビジョン三部作を効率的に学ぶ

最初のステップは、業界交流グループに参加し、テクノロジーの進歩を維持することです。

現在、ワークショップは、SLAM、産業用 3D ビジョン、自動運転などの 3D ビジョンの方向に複数のコミュニティを確立しています。サブディビジョングループには、次のものが含まれます: [ 産業方向 ] 3D 点群、構造化光、ロボットアーム、欠陥検出、 3D計測、TOF、カメラキャリブレーション、総合グループ [ SLAM 方向] マルチセンサーフュージョン、ORB-SLAM、レーザー SLAM、ロボットナビゲーション、RTK|GPS|UWB およびその他センサー交換グループ、SLAM 総合ディスカッショングループ [自動運転方向]深度推定、トランスフォーマー、ミリ波｜ライダー｜視覚カメラセンサー座談会、マルチセンサーキャリブレーション、自動運転総合グループなど [ 3D再構築の方向性] NeRF、colmap、OpenMVSなどこれらに加えて、就職活動、ハードウェアの選択、ビジュアル製品の実装のためのコミュニケーショングループもあります。WeChat でアシスタントを追加できます: dddvisiona、注: グループ + 方向 + 学校 | 会社を追加すると、アシスタントがあなたをグループに追加します。

アシスタント WeChat: cv3d007 を追加してグループに参加します

2 番目のステップは、Knowledge Planet に参加して、質問にタイムリーに回答してもらうことです。

3D ビジョン分野のビデオコース (3D 再構成、3D 点群、構造化光、ハンドアイキャリブレーション、カメラキャリブレーション、レーザー/ビジュアル SLAM、自動運転など)、ソースコード共有、ナレッジポイントの概要、入門および上級学習ルート、最新論文の共有、質問回答など、大手メーカー各社のアルゴリズムエンジニアが技術指導を行います。同時に、Planet は有名企業と協力して 3D ビジョン関連のアルゴリズム開発ポジションやプロジェクトドッキング情報を公開し、テクノロジー、雇用、プロジェクトドッキングを統合した熱心なファンが集まるエリアを作成します。共に働き、より良い AI の世界を創造しましょう。プログレス、ナレッジプラネットエントランス：「初心者からマスターまでの 3D ビジョン」

3D ビジョンのコア技術を学び、スキャンして表示し、3 日以内に無条件の返金を受けてください