弱い教師ありセマンティックセグメンテーションのためのマルチクラストークントランスフォーマー

まとめ

このホワイトペーパーでは、弱い教師ありセマンティックセグメンテーション (WSSS) の疑似ラベルとしてクラス固有のオブジェクトローカリゼーションマップを学習するための新しい Transformer ベースのフレームワークを提案します。
標準的なビジュアル Transformer のトークンの参加領域を利用して、クラスに依存しないローカリゼーションマップを形成できます.
このペーパーでは、Transformer モデルが Transformer で複数のトークンを学習することにより、クラス固有の注意を効果的に捉えることができるかどうかを調査します。 .

このホワイトペーパーでは、MCTformer と呼ばれるマルチクラストークントランスフォーマーを提案します。このトランスフォーマーは、複数のクラストークンを使用して、クラストークンとパッチトークン間の相互作用を学習します。MCTformer は、異なるクラストークンの対応するクラスからパッチへのアテンションから、クラス識別オブジェクトローカリゼーションマップを正常に生成できます。

著者らは、パッチ間トランスフォーマーから抽出されたパッチレベルのペアワイズアフィニティ関係を使用して、ローカルグラフをさらに改良することも提案しています。さらに、提案されたフレームワークは、クラスアクティベーションマッピング (CAM) メソッドを完全に補完し、PASCAL VOC および MS COCO データセットで非常に優れた WSSS 結果を達成することが示されています。これらの結果は、WSSS のクラストークンの重要性を強調しています。

ここに画像の説明を挿入
図 (a) 前の vit では、1 つのクラストークン (赤いボックス) のみを使用して、パッチトークン (青いボックス) から情報を集約しました。クラストークンに対応する学習されたパッチアテンションは、クラスにとらわれないローカリゼーションマップを生成します。
(b) 提案された MCTformer は、複数のクラストークンを使用して、クラストークンとパッチトークン間の相互作用を学習します。さまざまなクラストークンの学習されたクラスからパッチへの注意により、クラス固有のオブジェクトローカリゼーションマップが生成されます。

本論文の方法

MCTformer-V1

ここに画像の説明を挿入
入力 RGB イメージは最初にセグメント化され、一連のパッチラベルに変換されます。C をクラスの数として、C 個の追加のクラストークンを学習することを提案します。クラス C トークンはパッチトークンと連結され、位置埋め込み (PE) が追加されてから、連続する L トランスフォーマーエンコーディングレイヤーを通過します。

最後に、出力 C クラストークンを使用して、プーリングの平均化によってクラススコアを生成します。最後の K レイヤーとマルチヘッドアテンションをまとめると、最終的なアテンションマップが生成されます。そこから、クラス固有のオブジェクトローカリゼーションマップとパッチレベルのペアワイズアフィニティマップを、それぞれクラス間のアテンションとパッチ間のアテンションから抽出できます。 . . パッチレベルのペアワイズアフィニティを使用して、クラス固有のアテンションマップを改良し、改善されたオブジェクトローカリゼーションマップを生成できます。

MCTformer-V2

ここに画像の説明を挿入
CAM モジュールは MCTformer-V1 で導入されました
. CAM モジュールは畳み込み層とグローバル平均プーリング (GAP) 層で構成されています.
最後のトランスフォーマーエンコーディングレイヤーからの再形成された出力パッチトークンを入力として受け取り、クラススコアを出力します.
MCTformer-V1 の場合、出力クラストークンを使用してクラススコアを生成します. したがって、モデル全体は、2 つの分類損失を 2 つのクラス予測にそれぞれ適用することによって最適化されます。