下のカードをクリックして、「 CVer」パブリックアカウントをフォローしてください
AI / CVの重い乾物、できるだけ早く配達
著者：Qingchen smile | 許可を得て転載（出典：Zhihu）編集者：CVer
https://zhuanlan.zhihu.com/p/490229331
はじめに：CVPR 2022で、SenseTime Research Instituteチームは、Transformerベースの3Dポイントクラウド追跡モデルPTTRを提案しました。PTTRは、最初に特徴相関を使用して特徴抽出段階でサンプリングし、追跡対象オブジェクトに関連するより多くのポイントを保存することを提案し、次に点群相関Transformerモジュールを設計して点群の特徴に一致させました。最後に、PTTRは、予測精度をさらに向上させるための軽量予測修正モジュールを提案します。実験結果は、PTTRが複数のデータセットで大幅な精度の向上を達成することを示しています。
论文名称：PTTR：Transformerを使用したリレーショナル3Dポイントクラウドオブジェクトトラッキング
論文：arxiv.org/abs/2112.02857
コード：github.com/Jasonkks/PTTR
問題と課題
オブジェクトトラッキングは、画像データに関する広範な研究を受けた基本的なコンピュータビジョンタスクです。近年、レーダー技術の発達に伴い、点群ベースのターゲット追跡も注目を集めています。点群データには、点群のスパース性、オクルージョン、ノイズなど、いくつかの固有の課題があります。これらの特性により、画像ベースのアルゴリズムを直接追跡に使用することはできず、点群ベースの追跡アルゴリズムは現在十分に研究されていません。点群追跡の課題の1つは、オブジェクトがセンサーから遠く離れている場合、点群がまばらであると追跡が非常に困難になる可能性があることです。さらに、既存の点群追跡アルゴリズムは、主に特徴マッチングのためにコサイン類似性の線形法を使用しており、改善の余地があります。
メソッドの紹介
上記で提起された問題に対応して、次の図に示すように、新しい点群追跡フレームワークを提案します。モデルは3つの段階に分けられます。特徴抽出段階では、サンプリングのためにテンプレートと検索領域の間の特徴関係を利用して、より多くの前景点を節約する、新しい意味認識サンプリング方法（意味認識サンプリング）を提案します。 。特徴マッチングの段階では、テンプレートと検索領域の特徴を効率的にマッチングするために、ポイントクラウドリレーショントランスフォーマー構造（ポイントリレーショントランスフォーマー）を提案します。最後に、特徴サンプリングを通じて予測精度をさらに向上させるための予測改良モジュールを提案します。
1.関係を意識したサンプリング
点群の希薄性は追跡アルゴリズムの主要な課題であり、点群からの特徴抽出には通常、ダウンサンプリングプロセスが伴います。既存の追跡アルゴリズムのほとんどはランダムサンプリングを使用します。これは、サンプリングプロセス中に検索領域内の多数の前景ポイントを失い、その後の特徴のマッチングには役立ちません。そこで、サンプリングのためにテンプレートと検索領域の間の特徴距離を使用するセマンティック認識サンプリングを提案します。テンプレートエリアは主にターゲットオブジェクト上の点群で構成されているため、検索エリア内の特徴距離とテンプレートが最小のポイントをサンプリングすることで、できるだけ多くの前景ポイントを取得できます。下の図に示すように、さまざまなサンプリング方法を比較し、3次元ターゲットフレームにあるサンプリングポイントの割合を比較すると、提案されたRASが前景ポイントを最大限に取得していることがはっきりとわかります。
2.関係が強化された機能のマッチング
トラッキング問題では、テンプレートと検索領域内のポイントを一致させる必要があります。既存の3Dシングルターゲットトラッキングアルゴリズムのほとんどは、フィーチャのコサイン距離を使用し、コサイン距離が小さいポイントは高度なマッチング。対照的に、検索領域のテンプレートと点群に一致するように、コンピュータビジョンでの注意メカニズムの適用の成功に基づいて、関係ベースの注意メカニズムを設計します。次の図に示すように、私たちが設計したアテンションモジュールは、オフセットアテンションを利用し、クエリ、キー、および値の機能を融合し、アクティベーションレイヤーを通じて非線形性を導入します。具体的には、まず自己注意モジュールでテンプレートと検索エリアポイントクラウドを処理し、次に検索エリアポイントクラウドをクエリとして使用し、テンプレートエリアポイントクラウドをキーと値として使用し、クロスに入力します。取得する際の注意マッチング後の検索エリアの点群特徴を取得します。
3.粗いものから細かいものへの追跡予測
既存の3D単一オブジェクト追跡アルゴリズムのほとんどは、Votenet、RPNなどの3D検出器の予測モジュールを使用するだけです。同様の検出予測モジュールは必然的に冗長な計算を導入し、効率の低下をもたらすと私たちは主張します。そこで、テンプレート点群、探索点群、融合探索点群から対応する点群の特徴を抽出し、それらを組み合わせて直接予測する新しい予測修正子法を提案します。基本的に、検索領域の各ポイントで、さまざまな段階の機能を備えた提案を予測します。推論段階では、スコアが最も高い提案を予測結果とします。
4.データセット
方法論的な貢献に加えて、WaymoOpenDatasetに基づく新しい大規模な点群追跡データセットも提案します。Waymoではターゲットごとに対応するIDがマークされているため、特定のIDの異なる時点での位置情報を抽出できます。これに基づいて、次の表に示すように、Waymoの単一のターゲット追跡データセットを作成しました。データセットの追跡は、データ量の点でKITTIをはるかに上回り、学術コミュニティによる大規模なデータセットに関するさらなる研究のベースラインを提供します。
5.実験
次の表に示すように、PTTRと他のモデルがKITTIデータセットとWaymoデータセットにそれぞれ及ぼす影響を比較したところ、既存の方法と比較したPTTRの利点を確認できます。
各モジュールの効果を検証するために、さまざまなアブレーション実験を実施し、実験結果は、提案する各モジュールの有効性も検証します。
エピローグ
本論文では、新しい3D点群追跡モデルを提案する。関係認識サンプリングを使用して点群のスパース問題を軽減し、Transformerのアテンションメカニズムを使用して効果的な特徴マッチングを完了し、ローカル特徴サンプリングを使用して予測精度をさらに向上させます。実験は、提案された方法が点群追跡のパフォーマンスを効果的に改善することを示しています。
Transformer和 3D点云交流群成立
扫描下方二维码，或者添加微信：CVer6666，即可添加CVer小助手微信，便可申请加入CVer-Transformer 或者 3D点云微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注：研究方向+地点+学校/公司+昵称（如Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信: CVer6666，进交流群
CVer学术交流群（知识星球）来了！想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料，欢迎扫描下方二维码，加入CVer学术交流群，已汇集数千人！
▲扫码进群
▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看