【AAAI2021】画像キャプション用デュアルレベル協調トランスフォーマー

【AAAI2021】画像キャプション用デュアルレベル協調トランスフォーマー

添付： 論文ダウンロードアドレス
添付： コードダウンロードアドレス

論文の主な貢献

1. リージョン機能とグリッド機能の相補性を実現する、新しい二重層協調トランスネットワーク (DLCT) を提案します。MS-COCO データセットに関する広範な実験により、この方法の優位性が実証されています。
2. Location Constrained Intersection Attention (LCCA) は、2 つのフィーチャ ソースの直接融合によって引き起こされるセマンティック ノイズの問題に対処するために提案されています。構築された幾何学的アラインメント マップを使用して、LCCA は異なるソース フィーチャ間の相互作用を正確に実現するだけでなく、クロスアテンション フュージョンによってさまざまなフィーチャを強化します。
3. 画像説明の絶対位置情報を調査する最初の試み。レイヤー内およびレイヤー間の関係のモデリングは、絶対位置情報と相対位置情報を統合することでさらに改善されます。

序文

オブジェクト検出ネットワークによって抽出された記述領域の特徴は、近年、画像キャプションの生成において重要な役割を果たしてきました。ただし、従来のグリッド機能の利点である、コンテキスト情報ときめ細かな詳細が不足しているとの批判が依然としてあります。このホワイト ペーパーでは、著者はこれら 2 つの機能を視覚的な入力として使用し、新しい 2 層共同トランスフォーマー ネットワーク (DLCT) を導入して、画像記述における領域とグリッド機能の補完的な利点を実現します。具体的には、DLCT では、2 種類のフィーチャ ソースが最初に新しい Dual-Way Self Attention (DWSA) によって処理されて固有のプロパティがマイニングされ、Comprehensive Relation Attention (CRA) モジュールが導入されて幾何学的情報が埋め込まれます。 Locality-Constrained Cross Attention モジュール (LCCA) は、これら 2 つの機能の直接的な融合によって引き起こされるセマンティック ノイズを解決するために提案されています。このモジュールでは、地域とネットワークのパーソナリティ特性を正確に調整して強化するために幾何学的アラインメント マップが構築されます。また、MS-COCO データセットで広範な実験を行い、ローカルとオンラインの両方のテスト セットで最先端のパフォーマンスを実現しています。

論文法（DLCT）

このホワイト ペーパーで提案されている 2 層の協調型 Transformer ネットワーク アーキテクチャを下の図に示します。CRA は、絶対的および相対的な方法で位置情報を統合するように設計されており、DWSA を使用して 2 つのフィーチャの固有のプロパティをマイニングし、LCCA を使用して領域とグリッド間の相互作用を実現し、幾何学的配置マップを使用して、LCCA はセマンティック ノイズを効果的に排除し、達成することができます。レイヤー間の融合。

位置情報の統合

以前の方法は、領域の位置関係を相対的にモデル化するだけでした。したがって、著者らは、絶対的および相対的な位置情報を統合することにより、入力フィーチャ間の複雑な視覚的および位置的関係をモデル化する Comprehensive Relation Attention (CRA) モジュールを提案しています。

絶対位置コード

絶対位置エンコーディング (APE) は、特徴がどこにあるかをモデルに伝えます。同じ外観特徴を持つ 2 つのオブジェクトがあり、1 つは隅にあり、もう 1 つは中央にあるとします。この場合、APE はモデルがそれらを正確に区別するのに役立ちます。 . APE の場合、著者はグリッドと領域という 2 種類の視覚的特徴を考慮しました。
グリッドの場合、著者は 2 つの 1D サインおよびコサイン埋め込みの連結を使用してグリッド位置エンコーディング (GPE) を取得します:
$$GPE(i,\_\_j)=[P{E}_{};PE{\_}_{}]$$其中$私は、j$はグリッドの行インデックスと列インデックスです。$PE{\_}_{}、PE{\_}_{}\epsilon R^{d_{モデル\_\_\_}/2}$は次
ように定義されます。$pos\; は$位置を意味し、$k\; は$次元数を表します。
領域の場合、作成者は領域位置符号化 (RPE) に$B_{}$：
$$B_{}=({\times }_{みん\_}、y_{みん\_}、{バツ}_{マエックス\_}、y_{マエックス\_})，$$$$RPE\left(i\right)\_\_=B_{}{W}_{em}$$其中$i$是box的索引，$({\times }_{みん\_}、y_{みん\_})$和$({\times }_{マエックス\_}、y_{マエックス\_})\; は$、それぞれボックスの左上隅と右下隅を表します。$W_{em}\epsilon R^{d_{モデル\_\_\_}/4}$は埋め込みパラメータ行列です。

相対位置コード

視覚的特徴の相対位置情報をより適切に統合するために、作成者は境界ボックスの幾何学的構造に従って相対位置情報を追加します。領域の境界ボックスは$(x,y、w、h)$，其中$\times 、y、w、h\; は$ボックスの中心座標とその幅と高さを表します。グリッドはバウンディング ボックスの特殊なケースであることに注意してください。したがって、グリッドはそれぞれのフィールドに従って$(x,y、w、h)$ . したがって、$ボ\times {\_}_{}$と$ボ\times {\_}_{}$、それらの幾何学的関係は 4 次元ベクトルとして表すことができます。
次に、Emb メソッドを使用して$\Omega (私,j)$高次元エンコーディングに埋め込まれ、最終的な$\Omega (私,j)\; は、$ 2 つのボックス間の幾何学的関係を表すスカラーにマップされます:
$$\Omega (私,j)=ReLU\left(Emb\right(\Omega (i,j)){ウ}_{})$$其中$W_{}$学習したパラメーター マトリックス。

合成関係注意モジュール

位置の絶対的および相対的な情報を抽出した後、それらは Comprehensive Relation Attention (CRA) を使用して統合できます。APE の場合、Attention レイヤーのクエリとキーを変更します。
$$W=\frac{{(Q+ポーズ\_{\_}_{})(K+ポーズ\_{\_}_{})}^{}}{\sqrt{d_{}}}$$ここで$ポーズ\_{\_}_{}$と$ポーズ\_{\_}_{}$はそれぞれクエリとキーの APE であり、相対位置情報を使用して注意の重みを調整します: $$W_{私は}^{}=W_{私}+log\left(\Omega \right(i,\_\_j\left)\right)$$最後に、ソフトマックスを適用して重みを正規化し、CRA の出力を計算します。マルチヘッド CRA (MHCRA) は次のように定義されます。

二段協調エンコーダ

与えられた画像に対して、まずグリッド特徴を抽出します${Ⅴ}_{}=\{v_{}{\}}^{N_{}}$そして地域特徴${Ⅴ}_{}=\{v_{}{\}}^{N_{}}$、$N_{}$と$N_{}$対応する特徴の数です。エンコーダーは、2 つのサブモジュールで構成されています: デュアルウェイ セルフ アテンションとローカリティ制約クロス アテンション

二重自己注意（DWSA）

一般に、視覚的特徴は局所的に接続された畳み込みによって抽出されるため、それらは分離され、関係に依存しなくなります。Transformer Encoder は、入力間の関係をモデル化し、Self Attention によって視覚的特徴を充実させることができるため、画像記述のパフォーマンスに大きく貢献します。2 つの機能の層内関係をより適切にモデル化するために、著者は、2 つの独立した Self Attention モジュールで構成される双方向の Self Attention (DWSA) を設計します。
具体的には、領域$H_r^{(l}$およびグリッド$H_g^{(l}$入力の隠れ状態$(l+1)$ DWSA、学習関係認識表現:
ここで、$H_r^{(0}={Ⅴ}_{}、H_g^{(0}={Ⅴ}_{}$Ω ${おお}_{rr}$と${おお}_g$は、それぞれ領域とグリッドの相対位置行列です。次に、2 つの独立した位置フィードフォワード ネットワーク FFN が視覚的特徴のタイプごとに使用されます。
その後、関係認識表現が次のモジュールに供給されます。

ローカリティ制約クロス・アテンション(LCCA)

著者らは、レイヤー間の融合を実現するために、領域とグリッド間の複雑な相互作用をシミュレートする Locality-Constrained Cross Attention (LCCA) モデルを提案しています。セマンティック ノイズの発生を避けるため、まず幾何学的な配置グラフ$G=(V、E)$、すべての領域およびグリッド機能は独立したノードとして表され、ビジュアル ノード セット$V.\_$ _ エッジ セット$E$の場合、グリッドとエリアのバウンディング ボックスの間に交差がある場合にのみ、グリッド ノードはエリア ノードに接続されます。上記のルールに従って無向グラフを作成します。下の図に示すように、交差する領域とグリッド (同じ色で強調表示) は無向エッジで接続され、意味的に無関係な情報が排除されます。各ノードには自己接続エッジがあることに注意してください。

ソース ドメインとターゲット ドメインの 2 つの異なる視覚的特徴ドメインを識別するために、幾何学的配置マップに基づいて LCCA が適用されます。LCCA では、ソース ドメインはクエリとして機能し、ターゲット ドメインはキーと値として機能します。LCCA の目的は、ターゲット ドメインの情報をソース ドメインに埋め込むことにより、ソース ドメインの表現を強化することです。絶対位置情報と相対位置情報を統合して、重み行列$W^{\alpha }$ ij = e W ij ' ∑ j ∈ A ( vi ) e W ij ' \alpha_{ij}=\frac {e^{W^\prime_{ij}}} { \sum_{j
$$a_{私}=\frac{e^{W_{私は}^{}}}{{\sum }_{j\in A(v_{}}{e}^{W_{私は}^{}}}$$其中$v_{}$はビジュアル ノード$A(v_{})$为$v_{}$の隣接するビジュアル ノード セット、加重和は次のとおりです。$$M_{}=\underset{j\in A\left(v_{}\right)}{}{a}_{私は}^{(l}{Ⅴ}_{}$$どこで${Ⅴ}_{}$は、j 番目の可視ノード値です。簡単にするために、著者はこの段階を$$M=\underset{G}{グラフ\_\_\_\_-だからftmax(W\_{}^{}){}^V}$$その中で、graph-softmax は、隣接していない可視ノードに 0 の重みを割り当て、G に基づいてソフトマックスを実行します。したがって
、マルチヘッド LCCA (MHLCCA) は次のように表現できます。$l$の出力は:
ここで${おお}_{rg}$は領域とグリッド間の相対位置行列${おお}_{グラム}$グリッドと領域の間の相対位置行列です。
LCCA では、領域がグリッドに埋め込まれ、その逆も同様で、両方の機能が強化されます。具体的には、グリッド フィーチャは領域を介して高レベルのオブジェクト情報を取得し、領域はグリッドを介して詳細なコンテキスト情報を補足します。LCCA は、幾何学的アラインメント マップを利用して、意味的に無関係な視覚的特徴情報を制限し、セマンティック ノイズを除去し、相互注意を効果的に適用します。
リージョンは 1 つ以上のグリッドにスナップでき、グリッドは 0 個以上のリージョンにスナップできることに注意してください。領域と整列していないグリッドが存在する可能性があります。したがって、幾何学的に整列したグラフのノードごとに自己接続エッジが作成されます。さらに、自己接続されたエッジにより、注意モジュールに他の機能に焦点を合わせないという追加のオプションが与えられます。llで$層l$、モジュールの後に 2 つの独立した FFN が続くことに注意してください:$$H_r^{(l+1}=FF{N}_r^{}\left(M_r^{(l}\right),$$$$H_g^{(l+1}=FF{N}_g^{}\left(M_g^{(l}\right)$$ LCCA の出力が DWSA の入力として機能することに注意してください。マルチレイヤ エンコーディングの後、グリッド フィーチャとリージョン フィーチャが連結され、デコーダ レイヤに供給されます。

目標

与えられたグラウンド トゥルース シーケンス$y_{1:T}^{}$パラメータθ \thetaを使用$\theta$の記述モデルは、交差エントロピー損失を最適化します:$$L_X=-\sum _{t=1}ログ(p\_\_{}_{}({\_}_t^{}|y{\_}_{1:t-1}^{}\left)\right)$$具体的には、CIDER-D システムのスケマティック スケジューリング システム (SCST):$${\nabla }_{}{L}_R\left(i\right)=-\frac{}{k}\sum _{私は=1}\left(r\right(y_{1:T}^{})-b){\nabla }_{}ログp\_\_{}_{}\left({\_}_{1:T}^{}\right)$$ここで、k はビーム サイズ、r は CIDEr-D スコア関数、$b=\left({\sum }_{}r\right(y_{1:T}^{}\left)\right)/k$はベースラインです。

実験

データセット

著者は、COCO データセットで実験を行いました。データセットには 123,287 枚の画像が含まれており、それぞれに 5 つの異なるキャプションが付いています。オフライン評価では、トレーニング、検証、およびテストにそれぞれ 113287、5000、5000 の画像を使用して、カルパシー分割アルゴリズムが採用されています。

実験設定

著者は、VG データセットで事前にトレーニングされた Faster-RCNN モデルを使用して特徴を抽出します. グリッド特徴の場合、それらは平均して 7×7 のサイズにプールされます. 地域特徴の場合、同じモデルを使用して 2048 次元の特徴を抽出します. .
実験では、$d_{モデル\_\_\_}$512 に設定し、8 に向かいます。エンコーダーとデコーダーのレイヤー数はいずれも 3 に設定されています。XE 事前トレーニング フェーズでは、モデルは 4 エポックの間予熱され、学習率は$1\times 10^{-4}$なら 5∼10 エポックの学習率は$1\times 10^{-4}$ , 11∼12 エポックの学習率は$2\times 10^{-6}$なら$4\times 10^{-7}$、バッチ サイズは 50 に設定されます。トレーニング後、CIDEr 報酬を使用した最適化段階での学習率は$5\times 10^{-6}$、バッチ サイズは 100 に設定され、Adam オプティマイザーは両方のステージで使用され、ビーム サイズは 5 に設定されます。

性能比較

オフライン評価

オンライン査定

アブレーション実験

特徴

標準の Transformer を使用していくつかの機能についていくつかの実験を行い、このホワイト ペーパーの方法と比較しました。

CRA

CRA はグリッド フィーチャ モデルとエリア フィーチャ モデルのパフォーマンスを向上させることができ、LCCA と連携してパフォーマンスを向上させることもできます. 記述モデルは、絶対位置情報と相対位置情報を統合することにより、外観フィーチャとそれらの間の関係をよりよく理解できます.

LCCA

2 つの選択肢が考えられます。1 つは LCCA を使用しない DLCT で、もう 1 つは完全な 2 部グラフ (CBG) を使用する LCCA で、すべてのグリッド ノードとリージョン ノード間で相互注意が適用されます。それらはすべてLCCAよりもパフォーマンスが悪く、LCCAの優位性を示しています。CBG を使用した DLCT は、ラスター フィーチャ入力を使用した標準の Transformer よりもさらに悪いことに注意してください。これは、領域とラスター間の関係の粗いモデリングによって導入されたセマンティック ノイズの障害を示しています。

要約する

この論文では、著者は、画像によって記述された領域とメッシュの特徴の相補性を実現するために、2 層の共同トランスフォーマーを提案しています。モデルには、包括的リレーショナル アテンション (CRA) と双方向自己アテンション (DWSA) の層内融合によって、領域とメッシュの外観と幾何学的特徴が組み込まれています。Locality Constrained Cross Attention (LCCA) を適用するためのジオメトリック アラインメント マップも提案されています。LCCA は、両方の機能を効果的に強化し、2 つの機能ソースの直接融合によって引き起こされるセマンティック ノイズの問題を解決します。