[CVPR2023] DetCLIPv2: 単語領域アライメントによるスケーラブルなオープンボキャブラリーオブジェクト検出の事前トレーニング...

論文のタイトル: DetCLIPv2: 単語領域アライメントによるスケーラブルなオープン語彙オブジェクト検出の事前トレーニング

コード: オープンソースではありません

導入

この論文は、革新的なオープンボキャブラリーターゲット検出フレームワーク DetCLIPv2 を提案し、オープンボキャブラリーターゲット検出の分野に新たなブレークスルーをもたらします。従来のターゲット検出方法では、通常、事前定義されたターゲットカテゴリが必要ですが、実際のアプリケーションでは、未知のカテゴリのターゲットを検出する必要があることがよくあります。これは、いわゆるオープンボキャブラリーターゲット検出 (OVD) です。

DetCLIPv2 の独自性は、教師モデルによって提供される擬似ラベルに依存せず、検出、位置特定、画像とテキストのペアを含むマルチソースデータを共同でトレーニングすることで、位置特定機能と情報の知識の同時学習を実現することです。幅広いコンセプト。さらに、対照学習を使用してデータの画像およびテキスト検出学習をガイドし、パフォーマンスをさらに向上させます。大規模な画像テキストペアデータの計算の複雑さに対処するために、DetCLIPv2 は低解像度の入力を使用することで、パフォーマンスを維持しながらトレーニング効率を向上させます。実験により、LVIS ベンチマークテストで DetCLIPv2 が大幅なパフォーマンス向上を達成することが証明されました。

この記事への寄稿

DetCLIPv2 フレームワーク: この文書では、エンドツーエンドのオープンボキャブラリーオブジェクト検出事前トレーニングフレームワークである DetCLIPv2 を紹介します。このフレームワークにより、モデルはターゲットカテゴリの事前定義リストを必要とせずに未知のカテゴリのターゲットを識別できるため、さまざまな実際のアプリケーションシナリオのニーズを満たすことができます。
教師モデルに依存しない: 他の方法とは異なり、DetCLIPv2 は疑似ラベルを提供したり、トレーニングプロセスをガイドしたりするために教師モデルに依存しません。検出、ローカリゼーション、画像とテキストのペアなど、複数のデータソースで共同トレーニングすることで、ローカリゼーション機能と幅広い概念の知識を同時に学習します。
対比学習ガイダンス: 画像テキストを効果的に使用してデータを検出するために、DetCLIPv2 は、最適マッチングに基づく集合類似性手法を採用して対比学習をガイドし、パフォーマンスを向上させます。
低解像度入力: データ上の大規模な画像テキストによって引き起こされる計算負荷を軽減するために、DetCLIPv2 は低解像度入力を使用し、それによってトレーニング効率を向上させます。

この記事のメソッド

この記事で提案する方法を図 3 に示します。DetCLIPv2 は、検出、位置特定、イメージオンデータの共同トレーニングをエンドツーエンド方式で実行します。アーキテクチャには次の主要コンポーネントが含まれています。

画像エンコーダ: 入力画像から領域埋め込み f P を抽出するために使用されます。このコンポーネントは、モデルが画像内の視覚情報を理解するのに役立ちます。
テキストエンコーダ: 入力名詞句の単語埋め込み f T を計算するために使用されます。このコンポーネントは、モデルがテキスト情報を理解するのに役立ちます。

強力なオープンワールドの物体検出システムを構築するために、DetCLIPv2 はさまざまなデータソースからのデータ、つまり検出、位置特定、画像とテキストのペアを事前トレーニングに使用します。この方法の主な手順は次のとおりです。

統一データの定式化(セクション 3.1)
きめの細かい対照学習(セクション 3.2)
モデルのアーキテクチャとトレーニングの目標(セクション 3.3)
共同訓練の詳細(セクション 3.4)

1. 統一的なデータ構築

まず、この記事では並列定式化を使用して、さまざまなソースからのデータ形式を統一しています。形式はトリプルの形式になっています。

ここで、x は画像、bi と tj はそれぞれ境界ボックスの注釈のセットと概念名を表します。このトリプルの構築方法は、データの種類によって異なります。

検出データ (検出) : T は、データセット内でサンプリングされたクラス名から構築され、画像に表示されるクラスと、ランダムにサンプリングされたその他の負の例のクラスで構成されます。さまざまな概念間の関係を明確に提供するために、この記事では、トレーニングとテストの両方のフェーズで概念強化テクノロジを適用します。つまり、各 tj は、カテゴリ名と対応する定義を接続することによって取得されます。

グラウンディング: 最初に元のタイトルから名詞句 (注釈で提供) を抽出して、肯定的な概念セットを形成します。

。学習に十分な否定概念を提供するために、タイトルに含まれていない否定概念のセットも構築された概念辞書からランダムに抽出されます。

。カテゴリ名の最終セットは、T = Tpos ∪ Tneg で構成されます。

画像とテキストのペア: インスタンスレベルの注釈がないため、

。T は、元のタイトルと、タイトルから抽出された名詞句で構成されます。

検出および位置特定データの場合、各 bi には概念 tj がタグ付けされるため、オープン語彙のターゲット検出学習が可能になります。

この記事で採用されているアーキテクチャには、公開語彙オブジェクトの検出を実行するための画像エンコーダとテキストエンコーダが含まれています。画像エンコーダは、画像 x を入力として受け取り、一連の領域提案 P とその分類特徴を出力する任意形式のオブジェクト検出器です。

。テキストエンコーダは、各概念名 tj を文として扱い、すべての tj をテキストエンコーダに個別に送信して、文の埋め込みを取得します。

。

陰性サンプルの数を増やす必要がある場合、この記事では、

バッチ内のさまざまなサンプルに含まれる重複した概念を削除し、要約されたテキストの埋め込みを実現します。

次に、計算してみると、

そして

類似度行列 S ∈ RK×MB を使用して類似度行列を取得し、次のように計算されます。

インスタンスレベルのアノテーションが利用可能な場合、たとえば検出データや接地データなど、従来のオブジェクト検出フレームワークの GT 割り当てプロセスに従ってオブジェクトマトリックスを構築できます [41、48、58]。

、アライメント損失を計算することができます
(詳細についてはセクション 3.3 を参照); インスタンスレベルの注釈が利用できない画像とテキストのペアのデータについては、セクション 3.2 でその方法について詳しく説明します。

2. きめ細かい比較学習

このセクションでは、DetCLIPv2 が大規模な画像とテキストのペアデータから学習して、インスタンスレベルのアノテーションに依存せずに、きめ細かい単語領域の対応を実現する方法を紹介します。この学習方法には、次の主要な手順が含まれます。

単語領域の配置の類似性: 画像とテキストのペアが指定された場合

、 xT から名詞句のセットを抽出し、

モデルへの入力として。

画像エンコーダは一連の提案を生成します

、テキストエンコーダーが名詞句を抽出します

テキストの埋め込み

。

単語領域のアライメントの対照学習は、P と T の間の類似度の設定に基づいて構築されます。T の j 番目の概念 tj については、次の式を計算することで P での最適な一致を見つけます。

次に、すべての単語領域の類似度を合計することで、テキストと画像の類似度が計算されます。

、次のように：

もう 1 つの合理的な考慮事項は、各テキスト概念が複数の領域に対応する必要があるということです。このデザインは、ソフト最大重み付けと、テキストの概念とすべての視覚領域間の類似性を使用してモデル化できます。つまり、次のとおりです。

画像とテキストの対比損失: 導入された単語領域の位置合わせの類似性に基づいて、画像とテキストのペア間で標準的な対比学習を実行できます。具体的には、画像とテキストのペアのバッチ B の場合、

、コントラストの損失は次のように表すことができます。

インターネットからクロールされた画像およびテキストデータの部分的なラベル付けの問題があるため、DetCLIPv2 ではテキストから画像へのコントラストの損失のみが考慮され、画像からテキストへのコントラストの損失は考慮されていないことに注意してください。テキストは、画像内のオブジェクトの小さなサブセットを説明するだけです。データの大部分では、テキストは画像に表示されるオブジェクトのごく一部のみを説明します。つまり、ほとんどの領域提案では、タイトルテキスト内で対応する一致を見つけることができません。画像とテキストのマッチングを含めると、パフォーマンスが大幅に低下する可能性があります。

提案の選択: テキストの概念との類似性を計算するために最も代表的な画像領域を選択するため、つまり、モデルがテキストと画像の間の関連性をよりよく学習できるように、テキストの説明に最も関連する領域を選択したいと考えています。DetCLIPv2 は、プロポーザル選択戦略を採用しています。モデルは、候補領域ごとに、ローカルバッチ内のすべてのテキスト概念との類似度を計算し、最大の類似度をオブジェクト性スコアとして使用します。

この設計の利点は 2 つあります: 1 つ目は、テキストの説明に最も関連する領域を選択すること、2 つ目は、他のテキストで説明されている難しい否定的な概念を選択することで、対比学習を促進することです。DetCLIPv2 は、客観性スコアに従って、NMS 操作後に上位 k 個のプロポーザルを選択します。

3. モデルのアーキテクチャとトレーニングの目的

モデルアーキテクチャ: DetCLIPv2 は、バニラ ATSS 検出器に基づくアーキテクチャを使用し、Transformer ベースのテキストエンコーダを備えています。DetCLIP の特別な設計は、分類ヘッダーの先頭に軽量の変形可能な畳み込みを挿入することです [61]。

分類ヘッドに変形可能な畳み込み層を導入することにより、モデルの分類ヘッドと回帰ヘッドの間に相関関係が確立され、勾配信号が分類ヘッドから回帰ヘッドに流れることが可能になります。このようにして、モデルの回帰頭部は、監視信号 (画像とテキストのペアのトレーニングなど) なしでトレーニングされた場合でも、大規模な画像とテキストのペアでのトレーニングから恩恵を受けることができます。この設計の鍵は、バックボーンフィーチャのより適切な空間集約を学習することで、回帰ヘッドがより優れたターゲット位置特定機能を取得できるため、ターゲット検出タスクにおけるモデル全体のパフォーマンスが向上することです。

トレーニング目標: DetCLIPv2 の全体的な目標は次のように表すことができます。

Lalign: アライメント損失。モデルのアライメント能力を測定するために使用されます。

Lcts: 画像とテキスト間の関連性を学習するためのコントラスト損失。

Lreg: 回帰損失。ターゲットの位置を特定するために使用されます。

Lcenter: 中心性の喪失。モデルがターゲットの中心をより適切に特定できるようにするために使用されます。

4. 共同訓練

DetCLIPv2 は、トレーニングプロセス中に異種データセットを使用した共同トレーニングを実行します。トレーニング中、同じタイプに属するデータはグローバルバッチにグループ化されます。各反復では、トレーニング用に 1 種類のデータが選択されます。さまざまなタイプのデータが、さまざまな入力解像度とバッチサイズを使用してトレーニングされます。具体的には：

検出およびグラウンディングデータの場合は、トレーニングに高解像度の入力と小さいバッチサイズを使用します。これは、ターゲットの正確な位置決めを向上させるのに役立ちます。
画像とテキストのペアの場合は、低解像度の入力と大きなバッチサイズを使用します。これにより、対照学習におけるネガティブサンプルの数が増加し、大規模な画像とテキストのペアのトレーニングコストが大幅に削減されます。

実験

実験結果

LVIS データセットでのゼロショットパフォーマンス:

特に、DetCLIPv2 のモデルはゼロショットモードで完全に監視されたモデルを上回っています。

微調整による移行パフォーマンス:

、

視覚的分析:

CC12M などの画像とテキストのペアデータに対する単語領域のアライメント学習効果:

アブレーション実験

提案の選択戦略:

単語領域の調整戦略:

提案数量 k:

コントラスト損失設計:

温度と損失重量:

変形可能なモジュールの有効性:

より多くのデータを融合すると、以下の学習に役立ちます。

DetCLIPv2 と GLIP および DetCLIP のトレーニング効率:

結論は

この論文では、オープンボキャブラリーオブジェクト検出のための統合されたエンドツーエンドの事前トレーニングフレームワークである DetCLIPv2 を提案します。比較ターゲットをガイドするために領域と単語の間の最適なマッチングセットの類似性を使用することで、大規模な画像とテキストのペアを効果的に活用してオブジェクト検出タスクを実行します。実験によると、DetCLIPv2 はオープンボキャブラリーのパフォーマンスと広いドメインのカバー範囲において優れていることが示されています。私たちの方法は、画像とテキストのペアの規模をさらに拡大することでオープンエンドの検出を達成する可能性のある方法を提供し、この方向性は将来の研究に委ねることができます。

制限

私たちの方法は、画像とテキストのペアを拡大することでオープンワールド検出を実現する可能な方法を提供します。ただし、その位置特定機能は依然として、検出データで提供される境界ボックスの注釈に大きく依存しています。ローカリゼーションの汎化パフォーマンスを向上させるために、堅牢なオープンワールド領域提案のための [26] のようなアーキテクチャを設計することは、将来の研究の有望な方向性です。さらに、インターネットからクロールされた画像とテキストのペアにはノイズが多く、記述が著しく不完全であるため、[28] で提案されているように、単語領域のアライメントの学習効率が損なわれ、データ品質を向上させるためのさらなる設計が必要になります。検出データを超えて画像とテキストのペアをさらにスケールアップする場合、トレーニングの不均衡によりパフォーマンスが損なわれる可能性があり、これについても将来的に調査する必要があります。

☆終わり☆

これが表示された場合は、この記事が気に入っていることを意味します。転送して「いいね！」してください。WeChat で "uncle_pn" を検索してください。編集者の WeChat "woshicver" を追加することを歓迎します。高品質のブログ投稿が友達の輪に毎日更新されます。

↓ QRコードを読み取ってエディタを追加↓