自動操縦3D物体検出フィールド内のダルマアリババ病院は、新たなブレークスルーをしました！達磨研究所最近選択された用紙トップコンピュータビジョンは2020をCVPRなり、紙は普遍的な、高性能オートパイロット検出器、初めて3Dオブジェクト検出精度と速度の両方を持って提案し、効果的に自動操縦システムの安全性能を向上させます。現在、自動操縦キティBEVのランキングの分野における検出器のデータ収集の権限は、最初のランキング。
異なるアプリケーションの通常の2D画像認識は、高速かつ高精度のための自動操縦システム要件は、検出器は、迅速に環境を周囲の物体を識別するだけでなく、三次元空間における物体の位置の正確な位置決めを行うことのみならず必要です。しかし、現在主流単段及び二段検出器検出器は、大きく自動運転の安全性能を制限バランス検出精度と速度、することができませんでした。
この時間は、ダルマ研究所論文で前方に新しいアイデアを入れて、それがすぐに単一の検出器に統合きめ細かい位相検出器の特性評価のための二段階方式を備えています。具体的には、二次ネットワーク前記単一ステージボクセル検出点レベルの機能への訓練の病院使用dharmas、およびコンピューティングネットワークの関与なしに推論プロセスモデルをサポートしながら、特定の監視信号を印加するので、しながら速度を保証し、検出精度を向上させます。
結果は、二重現在の3Dは、第一位にランクされ、正式なデータセットは技術キティBEVチャートをオートパイロット、この検出器は、第一、他の検出器よりも精度の単一段階にランクし、検出速度が25FPSに到達したことを示しましたそしてより多くの。
著者は、それぞれ他の著者であるアリババダルマ研究所、ダルマの病院のインターンChenhang彼を勉強する最初の著者、ダルマ研究所シニアフェロー、IEEEフェロー華氏Xiansheng、達磨研究所シニアフェロー、香港理工大学からです教授の講義を計算する部門、IEEEフェローザン・レイ、シニア病院ダルマとダルマアルゴリズムの専門家HUANG建強研究所インターンホイ曽。
以下はChenhang彼は新聞を作った解釈です。
1.背景
コンピュータビジョンにおける伝統的なターゲット検出タスク、異なる対象の画像認識は、画像上で識別されたオブジェクトの存在を検出し、対応するカテゴリを与えるために、オブジェクトは、バウンディングボックスで位置決めする必要がないだけ。検出対象の要求出力に応じて、典型的には、2Dバウンディングボックスの出力画像上の目標検出、およびオブジェクトカテゴリを使用して、RGB画像は2Dオブジェクト検出と呼ばれています。奥行き画像とRGB-Dレーザ点群、オブジェクトカテゴリと出力長さと幅の検出情報を用いて、RGB画像は、3次元空間における回転角度は、3Dオブジェクト検出と呼ばれます。
目標検出からA雲状3Dデータ点群はオートパイロットの重要な成分である（AV）システムです。異なるターゲット検出の唯一の通常の2D画像平面と推定2Dバウンディングボックスは、AVは、このような完全な高度なタスクと回避の衝突などへの経路計画として、現実の世界から3D境界ボックスを推定するために多くの情報を必要とします。この動機3D最近ターゲット検出方法は、この方法は、上センサからのLiDAR点群データを処理する畳み込みニューラルネットワーク（CNN）に適用されます。
現在のポイントクラウド二つのアーキテクチャが存在する立体物検出に基づく：
1）単相検出器（単段）：ボクセル特性（ボクセル機能）にエンコードポイントクラウド、予測対象ブロックに直接3D CNNが速く、しかし理由精度は若干低くなるように、ポイントクラウドCNNに解体、物体認識の構造は、不良です。
2）二相検出器（二段）：第1レベルはPointNet点で抽出し、そして多くの場合、高い精度を達成できる微細な特徴を得るために候補プールエリア（プールポイントクラウドから）の点群を使用して非常に遅い特徴とします。 。
2.方法
業界は主に、単一の位相検出器基づいており、これは、検出器が効率的にリアルタイムシステム上で実行することができることを保証します。我々は、ポイントレベルの機能に前記単段検出ボクセルを訓練補助ネットワークを利用することにより、きめ細かい機能が検出する単一ステージの移動の概念を特徴づけるの位相検出器への2つのソリューションを提案し、そして構造体はまた、これにより、検出精度を向上させる、畳み込み意識を備えように、特定の監視信号を印加します。モデル推定を行う際に、補助ネットワーク（デタッチ）を計算に関与しないことにより、検出器の検出効率を確保するには、単一の段階です。「 - 自信 - 不一致ボックス」の問題に加えて、我々はこのプロジェクトに、パートに敏感なワープ（PSWarp）、存在検出器で単一のステージを処理するために改善することを提案しています。
メインネットワーク
展開のための検出器、すなわち外挿ネットワーク、バックボーンネットワークと検出ヘッド部品。ボクセルを抽出するためのまばらなネットワークと3Dバックボーンネットワークは、高いセマンティックな機能が含まれています。前記検出ヘッドボクセルが鳥瞰図示す2Dに圧縮および3D対象ブロックを予測するために、上記ネットワーク内の完全な畳み込みを実行します。
補助ネットワーク
トレーニング段階では、中間層、前記バックボーンネットワークを抽出し、特徴点特徴レベル（ポイント単位機能）に変換するセカンダリネットワーク畳み込みを提案します。インプリメンテーションでは、我々は、特徴点のレベルは畳み込みを表し得ることができるように、各点で補間された元の点群に非ゼロ空間の畳み込み特性をマッピングし、。だから
空間での畳み込み機能表現、
原点の機能を示すオリジナルのポイントクラウドは、の畳み込みに等しいです
補助作業
私たちは、知覚の良いコンボリューション特徴的な構造、フォアグラウンドセグメンテーションタスク、タスクの中心点への復帰を得るのを助けるためのポイントレベルの機能に基づいて、2つの監督ポリシーを提案します。
具体的には、PointNet特徴抽出（A）、畳み込みネットワーク及びダウンサンプリング畳み込み原因の損傷（B）と比較して、その結果、境界及び物体の内部構造の特徴点クラウド構造鈍感。我々は、コンボリューションの下部は、それによって境界の知覚を高める特性をサンプリングするときには、バックグラウンド特性（C）の影響を受けない保証するために、セグメンテーションタスクを使用します。我々は、ポイント数が少ない場合には合理的にオブジェクトのサイズ、形状の電位と結論付けることができるような物体認識（D）の内部構造のコンボリューション特性を向上させるために、回帰タスクの中心ポイントを使用します。私たちは、タスクを分割し、最適化の解決の中心的任務に戻るには、焦点の損失と滑らか-L1を使用しました。
3.改善プロジェクト
単段検出では、位置合わせの問題及びアンカー特徴マップは、信頼レベルと一致しないバウンディングボックスの位置の予測質量につながる可能性が一般的な問題は、であり、これは後処理段階（NMS）、高い信頼度に影響を与えますしかし、位置決めフレームの低い質量が保持され、高品質が、低い信頼位置決めフレームは破棄されます。二段階におけるオブジェクト検出アルゴリズムでは、RPNは、次いで、特徴マップ抽出機能（ROI-プーリングまたはROIアライン）に対応する位置は、新機能や提案に対応し、この時間が整列され、提案を抽出しました。私たちは、箱の再得点を予測するために使用PSRoIAlignベースの改善、パート敏感ワープ（PSWarp）を、提案しています。
上記のように、まず、図により特徴付けられる最終フリー層感受性K部分を生成するように改変{X_K：kは= 1,2、...、K}を表し、情報の各特定部分を図2に符号化されます。例えば、4 = Kの場合には、生成敏感機能図{左下、上側、右上、左、右の4つの部分を下げます}。一方、我々は予測する各バウンディングボックスは、K個のサブウインドウに分割し、サンプリングポイントとして、各サブウインドウの中心位置を選択しています。このように、我々は、グリッドをKサンプル{Sを^ K：Kは= 1,2、...、K}を生成することができ、サンプリンググリッドの各々は、図に対応し、この局所特徴に関連しています。示されているように、我々は、生成されたサンプリング・グリッドの感度特性の対応する部分図でサンプリングサンプラーを使用し、図における良好な配向特性を生成します。最終的にK平均良好なアライメントの特性図であり、図の信頼性を反映しています。
4.効果
方法実線は、2段階のプロセスであるデータベース、オン（黒）提案PR曲線キティ、破線は、単一段階のプロセスです。私たちは、精度を達成するために2段階のアプローチを実現するために、単一段階のプロセスとしてそれを見ることができます
テストセットにおける空中キティ効果（BEV）および3D。精度は、追加の計算の利点を維持しながら、検出速度25FPSを達成します。
