3D-MPA：3Dセマンティックインスタンスセグメンテーションのためのマルチプロポーザル集約
この記事では、cvpr2020の点群認識に関する記事を紹介します。
論文
現在、オープンソースのコードはありません
1.問題
3Dターゲット検出の主な難点は、オブジェクトの提案を予測して処理する方法です。考え方の1つはトップダウンアプローチで、最初に多数のボックスに戻り、次に最適化の第2段階を実行します。ただし、ボックスの偏差が比較的大きい場合、そのような方法は機能しません。もう1つの考え方は、ボトムアップであり、メトリック学習を通じて各ポイントの特徴を学習し、これらのポイントの特性に従ってインスタンスを形成するためにクラスタリングします。ただし、クラスタリングのパラメーターは手動で調整する必要があり、ペアワイズの計算量が多すぎます。このホワイトペーパーでは、これら2つの方法を組み合わせて、トップダウン方式の少量の計算を利用し、ポイントフィーチャのロバスト性を利用しています。2つの方法の利点を補完するために、ポイントレベルで特徴表現を実行しますが、ポイントレベルをクラスター化しません。
2.考え
この記事には3つのモジュールが含まれています。提案生成モジュールは、特徴をポイントごとに学習し、各ポイントは、所属する中心点の提案を実行します。次は、前の提案を改良する提案統合モジュールです。最後に、オブジェクト生成モジュールが最終結果に戻ります。NMSは正しい結果を失う可能性があるため、著者が回帰に一般的なNMSメソッドを使用しなかったことに言及する価値があります。代わりに、高レベルの提案をクラスター化します。これにより、ポイントを直接クラスター化する場合と比較して、計算量が大幅に削減されます。
3.アルゴリズム
3.1プロポーザルの生成
スパースたたみ込みは、各ポイントの特徴を抽出するために使用され、次に2つのブランチに分割されて意味カテゴリを予測し、各ポイントが属するインスタンスの中心点座標を返します。
得られた中心点集合に対して、インスタンス提案としてk個の点をランダムにサンプリングし、各提案中心点の半径r内の点を対応するインスタンスに属する点とみなし、単純なポイントネットを介して各提案点集合を抽出する。機能。
各提案はタプル（yi; gi; si）で表されます。ここで、yiは提案の中心点の位置を表し、giは提案の特徴を表し、siは提案に対応するインスタンスポイントのセットを表します。
3.2プロポーザルの整理
プロポーザルの機能をグローバルな機能とよりインタラクティブにするために、この記事ではDGCNNのアイデアを使用してGCNを構築し、プロポーザルの機能を改良します。
3.3オブジェクトの生成
ここでは、
MLPを通じて客観性スコアを取得するためのK個の提案を取得します。gtの中心点からの距離が0.3m未満の場合は正に設定され、0.6mを超えるか2つのgtの中心点間の距離に等しい場合は負に設定されます。否定的な提案は処理されません。
肯定的な提案の場合、まず意味カテゴリを予測し、次に集計機能とバイナリインスタンスマスクを予測します。集約機能には、幾何学的機能と埋め込み機能という2つの側面があります。
最後の損失は
4実験結果
まとめ
以前のPointGroupとこの記事には類似点があります。ただし、3D-MPAの方が高速です。インスタンスのセグメンテーションに関する記事が十分にないため、マルチタスクの損失は避けられないようですが、私は常に時間がかかりすぎて最適化が困難であると感じています。
