CVPR2020紙は説明：3Dターゲット検出アルゴリズムを効率的に

CVPR 2020：点群からの構造を意識シングルステージの3Dオブジェクト検出

露光CVPR2020選択論文では、自動操縦の記事の記事が雇われ、紙は普遍的な、高性能オートパイロット検出器、初めて3Dオブジェクト検出精度と速度が効果的に自動操縦システムを高め、両方を持って提案しています安全性能。現在、自動操縦キティBEVのランキングの分野における検出器のデータ収集の権限は、第三のランキング。論文は、物体検出の問題を解決する方法ですか？

ビュー集計

アンカーグリッドサイズ変更は、関心の領域と同じ大きさであること、および両方の特性は要素ごとの和であり、回帰直線状の最初の3D提案作物及び使用。次に、NMSオブジェクトの境界ボックスによって得られた改正案を、再びクロップとリサイズ機能マップを実行し、再度戻すための提案を使用して、NMS。

完全接続層は、車両の後方に車両位置のサイズ、完全に接続されたレイヤー直角の回帰上図を残しました。

3Dオブジェクト検出、および出力長さと幅のオブジェクトカテゴリ情報、の三次元空間における回転角度
高い自動操縦システムの精度要件と速度検出器を迅速に環境を識別するだけでなく、異なるアプリケーションの通常の2D画像認識、オブジェクトは、我々は3次元空間内の物体の位置の正確な位置決めを行う必要があります。しかし、現在主流単段及び二段検出器検出器は、大きく自動運転の安全性能を制限バランス検出精度と速度、することができませんでした。
本論文では、思考の新しい方法は、粒度の細かい単相検出器に統合の特性を記述するための2つの段階の検出器についてです提案しています。具体的には、ネットワーク推論処理演算の関与なしにモデルをサポートしながら、単一のステージが特定の監視信号をポイントレベルの機能に変換され、適用されるボクセル検出器を使用してセカンダリネットワークのトレーニングで、従って、保護同時に、検出の速度および精度を向上させることができます。
以下は、紙Chenhang彼の最初の著者の解釈がなされている：
1.背景

2Dオブジェクト検出の研究が非常にRPNシリーズFasterRCNNとMaskRCNN、ワンショットシリーズYOLOv1-YOLOv3に代わって動作しますが、成熟してきました。2Dオブジェクトに基づいて、検出はまた、3Dオブジェクト検出のための新しい要件を提案しました。環境問題の具体的な検出は、3次元オブジェクトを説明し、オブジェクトがバウンディングボックスを与えています。2Dに比べ、3D境界ボックスはまた複数の次元、以上3つの角度の位置と大きさを表します。航空機の位置に加えて姿勢、並びにピッチ、ヨー及びロール角3つの角度、航空機のバウンディングボックスのサイズは固定されている、想像します。

自動操縦を確保するために、あなたは障害物の周りの3次元位置姿勢を必要とするので現時点では、3D物体検出のために、業界の自動操縦業界のための緊急の必要がある、奥行き情報のない画像の2次元位置姿勢は、回避衝突に方法はありません。3Dオブジェクト検出データセットは、ほとんど自動パイロットデータセットされるように、カテゴリは、主に自動車と歩行者であり、より一般的にキティとKAISTを用います。車両の自動操縦ので、安全運転のための障害物検出の高さがランド上に非常に重要であり、障害物ではないので、何のピッチ及びロール二つの角度を角度が存在しないので。だから、一部の3Dオブジェクト検出方法は、これらの3つの値を無視します。

コンピュータビジョンにおける伝統的なターゲット検出タスク、異なる対象の画像認識は、画像上で識別されたオブジェクトの存在を検出し、対応するカテゴリを与えるために、オブジェクトは、バウンディングボックスで位置決めする必要がないだけ。検出対象の要求出力に応じて、典型的には、2Dバウンディングボックスの出力画像上の目標検出、およびオブジェクトカテゴリを使用して、RGB画像は2Dオブジェクト検出と呼ばれています。奥行き画像とRGB-Dレーザ点群、オブジェクトカテゴリと出力長さと幅の検出情報を用いて、RGB画像は、3次元空間における回転角度は、3Dオブジェクト検出と呼ばれます。

目標検出からA雲状3Dデータ点群はオートパイロットの重要な成分である（AV）システムです。異なるターゲット検出の唯一の通常の2D画像平面と推定2Dバウンディングボックスは、AVは、このような完全な高度なタスクと回避の衝突などへの経路計画として、現実の世界から3D境界ボックスを推定するために多くの情報を必要とします。この動機3D最近ターゲット検出方法は、この方法は、上センサからのLiDAR点群データを処理する畳み込みニューラルネットワーク（CNN）に適用されます。

錐台PointNetsと3D検出

モデルが分かれている三つの部分：

錐台proposao
3Dインスタンスセグメンテーション
3Dアモーダルバウンディングボックス推定

3Dリアルタイム3Dセンサーデータの取得のため、まだかなり低い2Dデータの解像度よりも、とても良い結果に言及案（同時分類）に2次元画像と2Dターゲット検出方法を使用します。

この正規化は、アルゴリズムの回転不変性を向上させることができます。

基づいて、現在の点群の3D オブジェクト検出二つのアーキテクチャがある：
1、単相検出器（単段）：ボクセル特性（ボクセル機能）にエンコードポイントクラウド、予測対象ブロックに直接3D CNN、速度。曇り点は、CNNに解体されるので、オブジェクトの知覚との間の構造の差は、精度が若干低くなっています。図2に示すように、二相検出器（二段）：最初のレベルはPointNet点で抽出された特徴、及び微細な特徴を得るために候補プールエリア（ポイントクラウドからプーリング）の点群を使用することは、多くの場合、高い精度を達成できるが、非常に遅いです。。

2. 方法

業界は主に、単一の位相検出器基づいており、これは、検出器が効率的にリアルタイムシステム上で実行することができることを保証します。二段検出器の提案方式の特徴は、ポイントレベルの機能に前記単段検出ボクセルをトレーニングして、二次ネットワークを使用して、検出にきめ細かい単相移行の概念を特徴付ける、および構造体はまた、これにより、検出精度を向上させる、畳み込み意識を備えように、特定の監視信号を印加します。モデル推定を行う際に、補助ネットワーク（デタッチ）を計算に関与しないことにより、検出器の検出効率を確保するには、単一の段階です。問題の更なる改善が存在検出器「 - - 自信不一致ボックス」で、単一のステージを処理するために、プロジェクト、パート敏感ワープ（PSWarp）を提案しました。

メインネットワーク

展開のための検出器、すなわち外挿ネットワーク、バックボーンネットワークと検出ヘッド部品。ボクセルを抽出するためのまばらなネットワークと3Dバックボーンネットワークは、高いセマンティックな機能が含まれています。前記検出ヘッドボクセルが鳥瞰図示す2Dに圧縮および3D対象ブロックを予測するために、上記ネットワーク内の完全な畳み込みを実行します。

補助ネットワーク

トレーニング段階では、セカンダリネットワークは、中間層、前記バックボーンネットワークの畳み込みを抽出し、特徴点特徴レベル（ポイント単位機能）に変換することを提案しました。インプリメンテーションでは、本明細書にマッピング機能は、元の点群空間に非ゼロコンボリューションされ、その後、各点で補間、この記事では、特徴点レベルは畳み込みを表し取得することができます。オーダー{（）：J = 0、...、M}特徴空間表現の畳み込みであり、{：iが0 =、...、N}畳み込みが原点で表される、請求元の点群は、に等しいです。

補助作業

本論文では、知覚の良いコンボリューション特徴的な構造、フォアグラウンドセグメンテーションタスク、タスクの中心点への復帰を得るのを助けるためのポイントレベルの機能に基づいて、2つの監督の戦略を提案しています。

具体的には、PointNet特徴抽出（A）、畳み込みネットワーク及びダウンサンプリング畳み込み原因の損傷（B）と比較して、その結果、境界及び物体の内部構造の特徴点クラウド構造鈍感。この論文では、それはそれによって境界の知覚を強化し、次のサンプリングにおけるバックグラウンド特性©部分畳み込み機能によって影響されない保証するために、タスクを分割します。この論文では、回帰タスクの中心点は、オブジェクト認識（D）の内部構造のコンボリューション特性を向上させるために、このような点の数が少ない場合には合理的に結論付けることができることは、オブジェクトの形状の潜在的サイズという。本明細書で使用する場合、焦点損失および平滑-L1は、タスクを分割し、最適化を解決する中央タスクに戻ります。

3. 改善プロジェクト

単段検出では、位置合わせの問題及びアンカー特徴マップは、信頼レベルと一致しないバウンディングボックスの位置の予測質量につながる可能性が一般的な問題は、であり、これは後処理段階（NMS）、高い信頼度に影響を与えますしかし、位置決めフレームの低い質量が保持され、高品質が、低い信頼位置決めフレームは破棄されます。二段階におけるオブジェクト検出アルゴリズムでは、RPNは、次いで、特徴マップ抽出機能（ROI-プーリングまたはROIアライン）に対応する位置は、新機能や提案に対応し、この時間が整列され、提案を抽出しました。この紙提示改良さPSRoIAlign基づいて、その感受性ワーピング（PSWarp）、再獲得するために使用される予測ブロック。
上記のように、紙層を修正する最終的な分類Kの部分を形成するために、請求有する、図感受性{X_K：K = 1,2、... 、K}は情報の各特定の部分は、図に符号化される、表現。例えば、4 = Kの場合には、生成敏感機能図{左下、上側、右上、左、右の4つの部分を下げます}。一方、各予測記事のバウンディングボックスは、K個のサブウインドウに分割され、サンプリング点として、各サブウインドウの中心位置を選択しています。したがって、本明細書グリッドK個のサンプルを生成することができる{S ^ K：K = 1,2 、...、K}、サンプリンググリッドの各々は、図に対応し、この局所特徴に関連しています。示されるように、生成されたサンプリンググリッドの感度特性の対応する部分図でサンプリングし、この紙サンプラーは、図中の良好な配向特性を生成します。最終的にK平均良好なアライメントの特性図であり、図の信頼性を反映しています。

4. 効果

方法（黒）の実線は、2段階のプロセスであるデータベース、上PR曲線キティを提案し、破線は、単一段階のプロセスです。この記事では、精度を達成するために二段階アプローチを達成するために、単一段階のプロセスとして見ることができます。

テストセットにおける空中キティ効果（BEV）および3D。精度は、追加の計算の利点を維持しながら、検出速度25FPSを達成します。