論文アドレス: https://arxiv.org/abs/2111.14690
コードアドレス: https://github.com/DanceTrack/DanceTrack
著者所属：香港大学、CMU、本部
既存の MOT データセットには多くのオクルージョンがありますが、動きは規則的であり、IoU マッチングを使用することによってのみ最高のパフォーマンスが得られ、明らかにトラッカーのパフォーマンスを正確に評価できません。オクルージョンと類似性は依然としてアルゴリズムのパフォーマンスを制限する主な要因です
まとめ
マルチオブジェクト追跡の一般的な方法は、検出器を使用して場所を特定し、関連付けのために再 ID を使用することです。このパイプラインは、オブジェクト検出と再 ID の最近の進歩の恩恵を受けており、部分的には既存のデータセットの偏り (シーンが十分に豊富ではない) によるものであり、それらのほとんどは大幅に分離可能な機能を持ち、再 ID を使用して抽出するだけです。ターゲットの関連付けに非常に適しています。これらのバイアスに対処するために、多目的メソッドは、際立った機能がほとんどないオブジェクトに焦点を当てる必要があると主張します。したがって、似たような外観と多様な動きを持つ複数の人物を追跡するために、DanceTrack と呼ばれる大規模なデータセットを提案します。私たちは、DanceTrack がマルチターゲット トラッキング アルゴリズムのより良い評価ベンチマークを提供し、アルゴリズムがアピアランス機能への依存を減らし、モーション分析の能力をさらに向上させることを願っています。最高のパフォーマンスを持ついくつかのトラッカーを評価したところ、既存のベンチマークと比較して多くのパフォーマンス低下が観察されました. データとコードはDanceTrackで入手できます.
序章
オブジェクト追跡は長い間研究されており、自動運転、ビデオ分析、モーション プランニングなどのアプリケーションで広く使用されています。オブジェクト トラッキングの目的は、ビデオ内のオブジェクトを見つけて、前後のフレーム間でそれらをリンクすることです。興味深いことに、マルチオブジェクト追跡の開発は検出と再識別に大きく依存しており、主に関連付けのために外観機能を使用していることがわかりました。アルゴリズムの傾向は、似たようなオブジェクトに対する既存のメソッドのパフォーマンスの低下につながります。これは、運用パターンと時間的特徴を融合することによってモデリングを促進するベンチマークを提案するよう促します。
コンピューター ビジョンの他の多くの分野と同様に、マルチオブジェクト トラッキングの開発は、ベンチマーク テスト セットの開発の恩恵を受けてきました。特定のデータセットに基づくアルゴリズムは、特定の分布バイアスを起こしやすい傾向があります。この論文では、既存のマルチオブジェクト追跡の限界を認識しています。つまり、ほとんどのオブジェクトは、明確な外観と固定された運動パターン(ほぼ均一な直線運動) を持っています。これらのデータセットの影響を受けて、最近提案されたアルゴリズムは、関連付けのために外観機能に大きく依存しており、動きの手がかりをほとんど考慮していません。これは、より一般的でインテリジェントなアルゴリズムを構築するのに非常に不利です。
また、オブジェクトが類似した外観を持っている場合やオブジェクトが遮られている場合、外観マッチングの使用は非常に信頼性が低く、実際のアプリケーションで現在の最先端のアルゴリズムが大幅に低下することもわかりました。より複雑なアルゴリズムのためのより良いプラットフォームを提供するために、新しいデータセットを提案します.DanceTrack と呼ぶのは、そのほとんどがダンス ビデオであるためです.図 1 に示すように、100,000 を超える画像 (MOT17 の 10 倍) が含まれています。 、このデータ セットは、(1) 類似した外観: ビデオ内の人々は非常に似ているか、同じ服を着ているため、Re-ID によって抽出された特徴によって区別することは困難です (2) さまざまなスポーツ、人間の可動域は広く、姿勢の変化も非常に豊富であるため、モーション モデリング機能に対する要件が高くなります。2 つ目の特徴も、オクルージョンと交差をもたらし、人々は大幅に重なり、移動方向は常に変化します。
このデータセットに基づいて、既存の一般的な多目的アルゴリズムを含むテスト ベンチマークを構築します。この結果から、外観モデルや直線運動モデルだけでは満足のいく性能を得ることが難しいことがわかります。このデータセットのシナリオは実際に遭遇することが多いことを考えると、実際のアプリケーションで既存のアルゴリズムの問題を明らかにできると考えています。次のステップの研究の方向性をさらに知るために、データ関連付けのさまざまな方法の影響も分析し、次の結論に達しました (1) セグメンテーションやポーズなどのきめの細かい特徴は、粗い特徴よりも良い結果を得ることができます-グレインバウンディングボックス (2) 2Dの問題を解決していますが、深度情報は依然として有益な効果があります (3) 時間的な動き情報をモデル化することは非常に重要です
要約すると、物体追跡の分野に対するこの論文の主な貢献は次のとおりです。
1. 大規模なオブジェクト追跡データセットを構築します。これは、現在のデータセットに類似したオブジェクトがないことをカバーします。
2.この新しいデータセットで多くの方法を評価し、現在のアルゴリズムの欠点を示します
3. 詳細な分析を提供して、より複雑な実際の多目的アルゴリズムのより多くの手がかりを明らかにします