ハイブリッドマッチングを使用した DETR

CVPR2023| ハイブリッドマッチングを使用した DETR 1 対 1 および 1 対多のマッチングハイブリッド戦略に基づいた改良された DETR アルゴリズム

論文リンク: https://arxiv.org/pdf/2207.13080.pdf
ソースコードリンク: https://github.com/HDETR/H-Deformable-DETR

導入

DEtection TRansformer (DETR) に基づくモデルは、さまざまな基本的な視覚認識タスク (ターゲット検出、インスタンスセグメンテーション、パノラマセグメンテーション、指向性ターゲットセグメンテーション、ビデオインスタンスセグメンテーション、姿勢推定、マルチターゲットトラッキング、奥行き推定、テキスト検出、ラインセグメンテーション) で良好に機能します。検出、点群またはマルチビューに基づく 3D ターゲット検出、視覚的質問応答などの分野で大きな成功を収めています。

DETR モデルを改善するには、Transformer エンコーダ、Transformer エンコーダアーキテクチャ、クエリ式の再設計など、さまざまな角度から改善する必要があります。以前の改良された方法とは異なり、この方法は、1 対 1 マッチング (1 つの GT に 1 つのクエリのみが割り当てられる) によって引き起こされる非効率的なトレーニングの問題に焦点を当てています。たとえば、COCO データセット内の画像の 99% 以上に含まれるアノテーションボックスが 30 未満であるため、Deformable-DETR はプール内の 300 クエリから 30 未満の一致する GT を選択することのみを考慮し、残りの 270 を超えるクエリにはアノテーションが付けられます。 ∅ \ $\emptyset$ 、分類損失によってのみ監視されます。

1 対 1 マッチングの欠点を克服し、アクティブクエリを探索する利点を解放するために、この論文では、各順伝播プロセスで GT マッチングのためのより有益なクエリを生成する単純なハイブリッドマッチング戦略を提案します。混合マッチングの中心的な考え方は、1 対多のマッチングを使用してトレーニング戦略を改善し、1 対 1 のマッチングを使用して NMS 後処理を回避することです。

ここでは、1 対 1 のマッチングと 1 対多のマッチングに同意するために 2 つのデコーダーブランチが使用されています。トレーニングフェーズでは、1 つのデコーダブランチが 1 対 1 マッチングのクエリのセットを処理するように維持され、別のデコーダブランチが 1 対多マッチングの追加のクエリを処理します。評価フェーズでは、最初のデコーダブランチのみが使用され、最初のクエリセットは 1 対 1 マッチング方法によって監視されます。この方法では、NMS の後処理が回避され、推論段階で追加の計算コストが発生しません。

この記事のメソッド

DETR法についての紹介

DETR アーキテクチャ

与えられた入力 $\mathbf{I}$ 、DETR はまずバックボーンエンコーダーと Transformer エンコーダーを使用して、一連の拡張ピクセルエンベディングを抽出します $\mathbf{X} = \{\mathbf{x}_{0},\ mathbf{x}_{1},\ldots,\mathbf{x}_{N}\}$ . 次に、ピクセル埋め込みとデフォルトのオブジェクトクエリ埋め込みグループ $\mathbf{Q} = \{\mathbf{q}_{0},\mathbf{q}_{1} ,\ldots,\mathbf{q}_{n}\}$ Transformer デコーダを渡します $。$ 次に、DETR は、各 Transformer デコーダーの後にタスク固有の予測ヘッドを更新されたオブジェクトクエリの埋め込みに適用して、一連の予測 $\mathbf{P}=\{\mathbf{ p}_{0}、\mathbf{p}_{1}、\ldots、\mathbf{p}_{n}\}$ . 最後に、DETR は予測と GT の前に 1 対 1 のバイナリマッチングを実行します。DETR は、最小マッチング損失に基づいて GT と予測値を照合し、対応する監視損失を適用します。

変形可能な DETR アーキテクチャ

Deformable DETR の主な改善点は次のとおりです。

マルチスケールの変形可能なセルフアテンションモジュールとマルチスケールの変形可能なクロスアテンションモジュールを使用して、元のマルチヘッドセルフアテンションまたはクロスアテンションを置き換えます。
元の独立した階層型予測手法は、反復改良型予測手法に置き換えられました。
元の Transformer エンコーダ出力から生成された動的クエリは、クエリに関係なく、元の画像コンテンツを置き換えます。

ハイブリッドブランチアーキテクチャ

2 セットのクエリを維持します $\mathbf{Q} = \{\mathbf{q}_{1},\mathbf{q}_{2},\ldots,\ mathbf {q}_{n}\}$ 和 $q^1, q^2, ..., q^n} \mathbf{Q} = \{\width{\mathbf{q}}_{1},\width{\mathbf{q }} _{2},\ldots,\width{\mathbf{q}}_{n}\}$ . 予測結果に対して 1 対 1 または 1 対多のマッチングを使用します。

1 対 1 で一致するブランチ

を使用する $L$ Transformer デコーダは、クエリの最初のセットを処理し、各デコーダ層の予測を形成します。予測と GT の間のバイナリマッチングを使用して、損失を計算します。
$\mathcal{L}_{one2one} = \sum_{l=1}^{L} \mathcal{L}_{ハンガリー語}(\mathbf{P}^{l},\mathbf{G})$ $\mathcal{L}_{1}$
を含む、DETR および Deformable DETR と同じ損失関数を使用します。 $L$ 損失とGIOUの損失。

1対多のマッチングブランチ

同じ L Transformer レイヤーを使用して 2 番目のクエリセットを処理し、 $L$ グループの予想。1 対多のマッチングを実現するには、GT拡張ターゲットを取得するために $K$ $\widehat{\mathbf{G}} = \{\mathbf{G}^{1},\mathbf{G}^ { 2},\ldots,\mathbf{G}^{K}\}$ ， $\mathbf{G}^{1}=\mathbf{G}^{2}=\ldots=\mathbf{G}^{K}=\mathbf{ G}$ _ ここでは、二部マッチング予測と拡張ターゲットも使用されます。
$\mathcal{L}_{one2many} = \sum_{l=1}^{L}\mathcal{L}_{ハンガリアン}( \ワイドハット{\mathbf{P}}^{l},\ワイドハット{\mathbf{G}})$
トレーニングプロセス全体で $\lambda\mathcal{L}_{one2many}+\mathcal{L}_{one2one} の組み合わせを使用します$ 。

その他の組み合わせバリエーション

ハイブリッドトレーニングサイクルフレームワーク

ハイブリッドエポックスキーム。主な変更点は、異なるトレーニングサイクル中に異なる戦略を使用することです。

1対多のマッチングトレーニングサイクル

初期 $\rhoでは$ を処理するために 1 対多のマッチング戦略を使用します。 $L$ Transformer デコーダ層 $グループL$ の出力も GT $\widehat{\mathbf{G}} = \{\mathbf{G}^{1},\mathbf{G }^ を拡張する必要があります。 {2},\ldots,\mathbf{G}^{K}\}$ . 以前と同じ 1 対多のマッチング戦略を使用します。

1対1のマッチングトレーニングサイクル

残りの $(1-\rho)$ トレーニングサイクルでは、1 対多のマッチングではなく 1 対 1 のマッチングが使用されます。

混合層戦略

ハイブリッドレイヤースキーム。ここでは、さまざまな Transformer デコーダ出力に対してさまざまなペアリング戦略が使用されます: 最初の $L_{1}$ Transformer デコーダ層は 1 対多のマッチングを使用します。 $L_{2}$ が残っています $L$ 各デコーダ層は 1 対 1 のペアリング戦略を使用します。