ICML2021《注意力によるデータ効率の高い画像変換と抽出のトレーニング》

ここに画像の説明を挿入します
論文リンク: http://proceedings.mlr.press/v139/touvron21a/touvron21a.pdf
コードリンク: https://github.com/facebookresearch/deit

1. 動機

VIT トレーニングには大量のコンピューティングリソースが必要であり、トレーニングに長い時間がかかります。さらに、十分なデータがない場合、一般化することは困難です

2. 貢献

著者らは、畳み込み層を含まないニューラルネットワークが、外部データなしで ImageNet 上の最先端技術と競合する結果を達成できることを実証しています。そして、それらは 4 つの GPU を備えた単一ノードで学習され、3 日かかります。この記事の 2 つの新しいモデル、DeiT -S および DeiT-Ti はパラメータが少なく、ResNet-50 および ResNet-18 と同等とみなすことができます。
蒸留されたトークンに基づく新しい蒸留プロセスが導入されます。このプロセスは、教師が推定したラベルを再現することを目的とすることを除いて、クラストークンと同じように機能します。これら 2 つのトークンは、Transformer 内でアテンションを介して相互作用します。この Transformer 固有の戦略は、従来の蒸留よりもはるかにうまく機能します。
Imagenet 上の著者らの事前学習モデルは、CIFAR-10、CIFAR-100、Oxford-102 flowers、Stanford Cars、inaturalist などのいくつかの一般的な公開ベンチマークで、きめの細かい分類などのさまざまな下流タスクに転送すると競争力があります18/19 。

3. 方法

3.1 ビジュアルトランスフォーマー

マルチヘッドセルフアテンションレイヤー (MSA)
アテンションメカニズムは、トレーニング可能な (キー、値) ベクトルペアの共同メモリに基づいています。内積を使用してベクトル $\in \mathbb{R}^d をクエリします$ のセット付き $k$ 個のキーベクトル (行列 $\in \mathbb{R}^{k \times d} にパックされる)$ ) をマッチングに使用します。これらの内積は、ソフトマックス関数でスケーリングおよび正規化され、 $k$ の重み。アテンションの出力は $k$ 値ベクトルの加重和 $\in \mathbb{R}^{k \times d} にパックされる)$ )。用 $N 個の$ クエリベクトルシーケンス ( $\in \mathbb{R}^{N \times d} にパックされる)$ )、出力行列 (サイズ $\times d)$ ): $\sqrt{d}$

の各行に適用されます。 $d$ 適切な標準化が提供されます。Vaswani et al. (2017) は、セルフアテンションレイヤーを提案しました。クエリ、キー、値の行列自体は $N 個$ の入力ベクトルシーケンス ( $\in \mathbb{R}^{N \times D}$ ): $Q = XW_Q$ ， $K = XW_K$ 、 $V = XW_V$ 、所有制約 $k = N$ $W_Q$ の線形変換 $W$ 、 $W_K$ 和 $W_V$ これは、すべての入力ベクトル間に注目が集まっていることを意味します。
を考慮すると、 $h$ 注意の頭、つまり $h$ セルフアテンション関数は、マルチヘッドセルフアテンション層 (MSA) を定義します。 $\times d$ のヘッダーを提供します。 $N \times d$ シーケンス。これらは $h$ $\times dh$ に再配置されます。 $N \times d h$ シーケンス、線形層によって $\times D$
画像の Transformer ブロック
完全な Transformer ブロック (Vaswani et al.、2017) を取得するために、著者らは MSA 層にフィードフォワードネットワーク (FFN) を追加しました。この FFN は、GeLu 活性化によって分離された 2 つの線形層で構成されています (Hendrycks & Gimpel、2016)。から次元を変更します $D$ を 4Dに拡張 $4D 、$ から寸法を変更します $4D を$ に復元 $D._$ _ スキップ接続により、MSA と FFN は両方とも層正規化を備えた残差演算子として動作します (Ba et al., 2016)。
画像を処理するための Transformer を取得するために、この作業は ViT モデルに基づいて構築されています (Dosovitskiy et al.、2020)。これは、入力トークンシーケンスと同様に入力画像を処理する、シンプルかつエレガントなアーキテクチャです。のバッチに分解します $N の$ 固定サイズは $16 \times16$ ピクセル ( $\times 14$ ）パッチ。各パッチは、全体の寸法を維持する線形レイヤーで投影されます。 $\times 16 \times 16 = 768$ 。上記の Transformer ブロックは不変のパッチ埋め込み順序であるため、その位置は無視されます。位置情報は、固定 (Vaswani et al., 2017) またはトレーニング可能な (Gehring et al., 2017) 位置埋め込みに組み込まれます。これらはパッチトークンの最初の Transformer ブロックの前に追加され、その後 Transformer ブロックスタックに供給されます。
クラストークンは、
最初のレイヤーの前にパッチトークンに追加されるトレーニング可能なベクトルです。これは変換レイヤーを通過し、線形レイヤーで投影されてクラスを予測します。このクラストークンは NLP (Devlin et al., 2018) から継承しており、クラスを予測するためにコンピュータービジョンで使用される典型的なプーリング層とは異なります。したがって、Transformer は次元 $D$ ( $(N + 1)$ 出力を予測するためにクラスベクトルのみが使用されるトークンバッチ。このアーキテクチャでは、パッチトークンとクラストークンの間で情報を伝播することに自己注意が強制されます。トレーニング時には、監視信号はクラスの埋め込みからのみ発生し、パッチトークンはモデルへの唯一の変数入力です。
解像度全体にわたる固定位置エンコーディング
Touvron et al. (2019) は、低いトレーニング解像度を使用し、より高い解像度でネットワークを微調整することが望ましいことを示しました。これにより、完全なトレーニングが高速化され、既存のデータ拡張スキームの下での精度が向上します。入力画像の解像度を上げるときは、パッチサイズを一定に保つため、入力 $N$ パッチの数が変わります。Transformer ブロックとトークンのようなアーキテクチャにより、より多くのトークンを処理するためにモデルと分類子を変更する必要はありません。を使用するため、位置埋め込みを適応させる必要があります。 $N 個の$ 位置エンベディングがあり、各パッチは 1 つの位置エンベディングに対応します。Dosovitskiy et al. (2020) は、解像度を変更するときに位置エンコーディングを挿入し、この方法が後続の微調整段階に適していることを実証しています。

3.2 注意による蒸留

このセクションでは、著者は強力な画像分類器を教師モデルとして使用できると想定しています。畳み込みニューラルネットワークまたは分類器のハイブリッドにすることができます。次に、この教師を使用して、Transformer を学習する方法の問題を解決します。次の表は、精度と画像スループットのトレードオフを比較して示しているように、畳み込みニューラルネットワークを Transformer に置き換えることが有益です。これは、硬質蒸留と軟質蒸留、古典的な蒸留と蒸留トークンの 2 つの蒸留方向をカバーします。
ここに画像の説明を挿入します

ソフト蒸留に関するいくつかの研究
では、教師モデルのソフトマックスと生徒モデルのソフトマックスの間のカルバック・ライブラー発散を最小限に抑えています。 $Z_t と$ します $Z$ 教師モデルの対数、 $Z_s$ は学生モデルの対数です。τ $\tauを使用します。$ 蒸留温度、 $\lambda$ カルバックライブラー発散損失 (KL) と相互エントロピー (LCE) の係数のバランスをとります。
ハードラベル蒸留は
、ここでの蒸留の変形を導入し、教師の厳しい決定を実際のラベルとして受け入れます。 $y_t = argmax_cZ_t(c)$ とします。 $y = 最大値___Z (c)$ は教師の難しい決定であり、このハードラベルの蒸留に関連する目標は、

特定の画像について、教師に関連付けられたハードラベルが特定のデータ拡張に基づいて変更される可能性があることです。これからわかるように、このオプションは従来のオプションよりも優れていますが、パラメーターがなく概念的に単純です。教師は $y_t$ 実際のラベル $y も$ 同じ役割を果たします。
ラベルスムージング
ハードラベルは、ラベルスムージング (Szegedy et al., 2016) を介してソフトラベルに変換することもできます。この場合、真のラベルは 1 $\varepsilonを持つと見なされます。$ の確率、残りの $\varepsilon$ は残りのクラス間で共有されます。真のラベルを使用するすべての実験では、 $\varepsilon= 0.1$ 。教師が提供した疑似ラベル (例: 硬蒸留など) はここでは平滑化されないことに注意してください。
蒸留トークン
図 2 に示すように、作成者は新しいトークンである蒸留トークンを最初の埋め込み (パッチおよびクラストークン) に追加します。ここで蒸留されたトークンはクラストークンの使用に似ています。セルフアテンションを通じて他の埋め込みと相互作用し、最後の層の後にネットワークによって出力されます。その目的は、失われた蒸留成分によって与えられます。蒸留エンベディングを使用すると、クラスエンベディングを補完しながら、通常の蒸留と同様に、モデルが教師の出力から学習できるようになります。
蒸留による微調整
著者は、高解像度での微調整段階で実際のラベルと教師の予測を使用します。通常、Touvron et al. (2019) の方法を介して低解像度の教師から取得した、同じターゲット解像度を持つ教師を使用します。ここでも真のラベルのみがテストされますが、これにより教師の利益が減り、パフォーマンスの低下につながります。
私たちのアプローチによる分類: 結合分類器
テスト時には、Transformer によって生成されたクラスまたは蒸留された埋め込みのいずれかが線形分類器に関連付けられ、画像ラベルを推測できます。この記事の参照方法は、これら 2 つの個別のヘッドのポストフュージョンを実行し、2 つの分類器のソフトマックス出力を加算して予測を行うことです。以下の表に示すように、これら 3 つのオプションを評価します。
提案された戦略はパフォーマンスをさらに向上させ、2 つのトークンが補完的な有用な分類情報を提供することを示しています。両方のトークンの分類子は、独立クラスと抽出された分類子を大幅に上回り、それら自体はすでに抽出されたベースラインを上回っています。抽出されたトークンに関連付けられた埋め込みは、クラストークンを使用した埋め込みよりもわずかにパフォーマンスが優れています。また、畳み込みニューラルネットワークの予測との相関性も高くなります。すべての場合において、これを含めることで、さまざまな分類子のパフォーマンスが向上しました。

3.3 DeiT アーキテクチャの 3 つのバリエーション

ここに画像の説明を挿入します

4. いくつかの実験結果

4.1 異なる教師構成での蒸留結果

Abnar et al. (2020) が説明しているように、畳み込みニューラルネットワークはより優れた教師です。これはおそらく、Transformer が蒸留を通じて帰納的バイアスを継承するためです。この論文の後続のすべての蒸留実験では、デフォルトの教師ネットワークは、DeiT と同じデータと同じデータ拡張を使用してトレーニングされた、8,400 万のパラメーターを持つ RegNetY-16GF (Radosavovic et al., 2020) です。この教師ネットワークは、82.9% の精度で ImageNet で 1 位を獲得しました。
ここに画像の説明を挿入します

4.2 蒸留法の比較

上記の表 3 に示すように、さまざまな蒸留戦略のパフォーマンスを比較します。Transformer の場合、クラストークンのみを使用した場合でも、ハード蒸留はソフト蒸留よりも大幅に優れています: 解像度 $224 \times 224$ では、硬蒸留は 83.0% に達しますが、軟蒸留の精度は 81.8% です。
ここに画像の説明を挿入します

4.3 教師の見解と帰納的バイアスに同意しますか?

上で述べたように、教師の構造は重要な意味を持ちます。トレーニングに有利な既存の帰納的バイアスを引き継いでいますか? この質問に正式に答えるのは難しいと思いますが、表 4 で convnet 教師、ラベルからのみ学習するイメージ Transformer DeiT、および DeiT の意思決定合意を分析します。ゼロから学習した Transformers と比較して、私たちの蒸留モデルは畳み込みニューラルネットワークとより関連しています。予想どおり、蒸留された埋め込みに関連付けられた分類器は、クラスエンベディングに関連付けられた分類器よりも畳み込みネットワークに近いのに対し、クラスエンベディングに関連付けられた分類器は、蒸留学習のない DeiT により似ています。当然のことながら、結合クラス + 蒸留分類子は中間点を提供します。
ここに画像の説明を挿入します

4.4 トークン分析

学習されたクラスと抽出されたトークンは、異なるベクトルに向かって収束します。これらのトークン間の平均コサイン類似度 (cos) は 0.06 に等しくなります。各層で計算されたクラス埋め込みと蒸留埋め込みは、ネットワークを通じて徐々に類似性が高まり、最後の層では類似度は高くなりますが (cos=0.93)、それでも 1 未満になります。彼らは似たような、しかし同一ではない目標を生み出すことを目指しているので、これは予想されることです。
同じターゲットラベルに関連する追加のクラストークンを単に追加することと比較して、この論文では、抽出されたトークンがモデルに何かを追加することを検証します。著者は、教師疑似ラベルの代わりに 2 つのクラストークンを持つ Transformer を使用します。それらをランダムかつ独立して初期化したとしても、トレーニング中に同じベクトル (cos=0.999) に収束し、出力埋め込みは準同一になります。私たちの蒸留戦略とは異なり、追加のクラストークンは分類パフォーマンスに影響を与えません。

4.5 学習を下流タスクに転送する

DeiT は ImageNet 上で良好なパフォーマンスを示しますが、DeiT の汎化能力を測定するには、他のデータセットでの転移学習を評価することが重要です。著者らは、表 8 のデータセットを微調整することにより、転移学習タスクでこれを評価します。表 6 は、DeiT の転移学習結果を ViT および EfficientNet と比較しています。DeiT は競合する convnet モデルに匹敵し、これは ImageNet1k に関する以前の結論と一致しています。
ここに画像の説明を挿入します

4.6 データの拡張

トランスフォーマーは、より多くの事前分布 (畳み込みなど) を統合するモデルよりも多くのデータを必要とします。したがって、同じサイズのデータセットでトレーニングするために、この論文では大規模なデータ拡張に依存しています。著者らは、データ効率の高いトレーニング方法を実現するために、さまざまなタイプの強力なデータ拡張を評価しています。同時に、さまざまなオプティマイザーが検討され、さまざまな学習率と重み減衰で相互検証されました。トランスフォーマーは、最適化されたハイパーパラメーターの設定に非常に敏感です。
ここに画像の説明を挿入します

4.7 トレーニング時間

DeiT-B の場合、300 エポックの一般的なトレーニングには 37 時間 (2 ノード) または 53 時間 (単一の 8 GPU ノード) かかります。比較のために、RegNetY-16GF (8,400 個のパラメータ) を使用した同様のトレーニングは 20% 遅くなります。DeiT-S と DeiT-Ti は 4 つの GPU で 3 日以内にトレーニングします。その後、より高い解像度でモデルを微調整できます。解像度を $384 \times 384に調整するには、8 つの GPU で 20 時間かかりました。$ DeiT-B モデル。これは 25 エポックに相当します。バッチ仕様に依存せずに、パフォーマンスに影響を与えることなくバッチサイズを削減できるため、大規模なモデルのトレーニングが容易になります。3 回の反復で反復拡張を使用しているため、エポック中に表示されるのは画像の 3 分の 1 だけであることに注意してください。

5。結論

convnet Teacher を使用すると、Transformer を使用するよりもパフォーマンスが向上します。
Transformer の場合、クラストークンのみが使用されている場合でも、ハード蒸留はソフト蒸留よりも大幅に優れています。
トランスフォーマーネットワークが深くなるにつれて、トークンは徐々に類似するようになります。つまり、過度に平滑化されます。
小規模なデータセットでは、Imagenet の事前トレーニングを行わない場合、ネットワークの多様性がはるかに低いため、最初からトレーニングするパフォーマンスは事前トレーニングのパフォーマンスほど良くありません。
この論文の実験では、Transformer には強力なデータ拡張が必要であることが確認されています。著者が評価したほとんどすべてのデータ拡張方法が有用であることが証明されました。例外の 1 つはドロップアウトであり、作成者はこれをトレーニングプロセスから除外します。
Mixup や Cutmixのような正則化により、トランスのパフォーマンスが向上します