MIA-Net: マルチモーダル感情分析のためのマルチモーダル インタラクティブ アテンション ネットワーク

MIA-Net: マルチモーダル感情分析のためのマルチモーダル インタラクティブ アテンション ネットワーク

概要：マルチモーダル融合では、まず複数のモダリティを主モダリティと補助モダリティに分け、インタラクティブなアテンションモジュールを構築することで、主モダリティに役立つ情報を補助モダリティから抽出して融合します。

(特徴レベル注目度融合手法に属します)

記事情報

著者: Shuzhen Li、Tong Zhang

所属：華南理工大学

ジャーナル: アフェクティブ コンピューティングに関する IEEE トランザクション

注目項目：MIA-Net: マルチモーダル感情分析のためのマルチモーダル対話型注意ネットワーク

年: 2023

研究目的

限られた計算とパラメーター条件の下で、二峰性モデルを三峰性または多峰性タスクに一般化する方法を検討しますか? そして、感情分析に対するさまざまなモダリティのさまざまな寄与をどのように解決するのでしょうか?

研究内容

主モダリティと補助モダリティを融合し、センチメント分析に使用するために、3 つのモダリティまたはマルチモダリティをサポートする融合モデル MIA-Net (Multi-modal Interactive Attendant Network) が提案されています。

研究手法

このフレームワークは、シングルモーダル特徴抽出器 (Feature Extractor)、N-1 MIA モジュール、リグレッサー、および分類器で構成されています。

特徴抽出器

テキスト データの場合: まず、GPT-2 (トークナイザー) を使用して、各テキストの説明を一連の記号としてマークします。次に、RoEBRTa モデルを使用してテキストの特徴を抽出します。

オーディオ データの場合: 最初に VQ-Wav2Vec モデルを使用してオーディオの可変長オーディオ表現を離散オーディオ表現に変換し、次に RoBERTa モデルを使用して離散音響表現から音響特徴を抽出します。

ビデオ データの場合: まず、RetinaFace モデルを使用して、各ビデオ フレーム内の顔領域を検出してセグメント化します。次に、キーフレームの数に基づいて各ビデオからビデオ フレームが抽出されます。最後に、Fabnet モデルを使用して、抽出されたビデオ フレームから視覚的特徴を抽出します。

テキスト特徴次元: 1024、音響特徴次元: 768、視覚特徴次元: 256

MIAモジュール

記号表現:

$M_j^{}$M n M^nを意味します$M^n$の$j$メイン モード固有ベクトル、${あ}_{私}^{}$A n A^nを意味します${あ}^n$的第$i$補助モーダル特徴ベクトル。

$K(A_{私}^{}、M_j^{})$ SM n A n S_{\boldsymbol{M}^n\boldsymbol{A}^n} の計算に使用される一般的な線形カーネルを表します。$S_{M^{あ}{\_}^{}}$(親和性行列を表します)。

$P(S_{M^{あ}{\_}^{}})\; は$、メインのモーダル表現を改善するために使用される、インタラクティブな注意の重みを表します。

$P_{}\left(S_{M^{あ}{\_}^{}}\right)$は、j 番目のメイン モード固有ベクトルに対する i 番目の補助モード固有ベクトルの重要性を表します。

${\hat{M}}_{m\leftarrow a^n}^{}$補助モードによって強化された、更新されたプライマリ モード機能を表します。

---

各 MIA モジュールは、抽出、変換、融合の 3 つのサブモジュールで構成されます。MIA モジュールの機能は、補助モードから重要な機能を選択して、メイン モードの機能を改善することです。

抽出

まず、一般的な線形カーネルを使用してモーダル特徴間の類似性を取得し、次に類似性行列$S_{M^{あ}{\_}^{}}$。

$$\begin{array}{r}k(x,y)={バツ}^{ワイ}\_\end{array}$$
この式を満たすには、W は正の半定値行列でなければなりません。これは実際には実対称行列です。

すべての実対称行列は直交行列に分解できます。(定理によると、$Q=P^T\Lambda P$) したがって、一般的な線形カーネルの最終的な計算式は次のようになります。
$$\begin{array}{rl}K(A_{私}^{}、M_j^{})& ={\left(A_{私}^{}\right)}^T{W}^{nM}{\_}_j^{}\\ & ={\left(A_{私}^{}\right)}^T(P^n{)}^{T\Lambda P}\_{\_}^{nM}{\_}_j^{}\\ & ={\left(P^{あ}{\_}_{私}^{}\right)}^{T}L\left(P^{nM}{\_}_j^{}\right)\end{array}$$
親和性行列 (2 つのモダリティ間の類似性) を取得した後、親和性行列は対話型注意重み$P\left(S_{M^{あ}{\_}^{}}\right)$、$P\left(S_{M^{あ}{\_}^{}}\right)$メインモードの特性を改善します。
$$P\left(S_{M^{あ}{\_}^{}}\right)=\left[P_{}(S_{M^{あ}{\_}^{}}）、\cdots 、P_{}(S_{M^{あ}{\_}^{}}）、\cdots 、P_{dm}\left(S_{M^{あ}{\_}^{}}\right)\right]$$

$$P_{}\left(S_{M^{あ}{\_}^{}}\right)=\left[\begin{array}{c}{P}_{j1}\left(S_{M^{あ}{\_}^{}}\right)\\ ⋮\\ P_{}\left(S_{M^{あ}{\_}^{}}\right)\\ ⋮\\ P_{jd{\_}_{{あなた}^{}}}(S_{M^{あ}{\_}^{あ}{\_}^{}}\end{array}\right]=\left[\begin{array}{c}\frac{exp\left(K\right(A_1^{}、M_j^{})}{{\sum }_k^{d_{}}exp\left(K\right(A_k^{}、M_j^{}))}\\ ⋮\\ \frac{exp\left(K\right(A_{私}^{}、M_j^{})}{{\sum }_k^{d_{}}exp\left(K\right(A_k^{}、M_j^{}))}\\ ⋮\\ \frac{exp\left(K\right(A_{d_{ある}^{}}^{}、M_j^{})}{{\sum }_k^{d_{}}exp\left(K\right(A_{私}^{}、M_j^{}))}\end{array}\right]$$

変身

メイン モードと補助モードの間のインタラクティブ アテンション ウェイト$P(S_{M^{あ}{\_}^{}})\; )$、その後、Transform モジュールで、インタラクティブ アテンション ウェイトと補助モーダル特徴が行列乗算されて、新しい主モーダル特徴が得られます${\hat{M}}_{m\leftarrow a^n}^{}$

次に、この新しいメイン モード特徴はセルフゲート メカニズム GA (より多くの識別特徴を抽出し、考えられるノイズ特徴を抑制する) を通じて改善され、改善されたメイン モード特徴$M_{ゲートされた\_}^{}$M Gatedn = M ^ m ← ann ⋅ GG = σ ( K 1 ⊙ M ^ m ← ann + b 1 ) M_{gated}^n=\hat{M}_{m\leftarrow a^n}^n \
$$\begin{gathered} M_{ゲートされた\_}^{}={\hat{M}}_{m\leftarrow a^n}^{}\cdot G \\ G=s(K_{}\odot {\hat{M}}_{m\leftarrow a^n}^{}+b_{}) \end{gathered}$$
$\odot \; は$畳み込みを表し、$\sigma \; は$ロジスティック シグモイド活性化関数を表し、G はゲート係数を表します。$K_{}$そして$b_{}$それぞれ畳み込みカーネルとバイアスを表します。

融合

最後に、改良されたメイン モード機能$M_{ゲートされた\_}^{}$、初期メインモード特性$M^n$融合する。最終的に融合されたモーダル フィーチャを取得します。
$$M^{n+1}=f_{}\left(p\right(K_{}\odot [M_{ゲートされた\_}^{}:M^n]+b_{}))$$
$f_{}(\cdot )$はバッチ正規化関数$[:]\; は$接続動作を示します

---

複数の MIA モジュールを積み重ねることにより、N 個の補助モードによって強化されたメイン モードの機能が最終的に得られます。次に、残りの 2 つの接続を通じて、 MIA-Net が取得された後の最終的なメイン モード機能$\check{M}$ .

残りの接続

最初の残りの接続:
$$\begin{array}{rl}{M}_{}& =M^1+M_{ミアス\_\_}\\ & =M^1+f_{ミアス\_\_}(M^1、{あ}^1、\cdots 、{あ}^N\end{array}$$
$M_{M.I.A.S\_\_\_}$複数の MIA モジュールによって改善された$M^1$メインモードの特性。

$M_{}$残留メインモード特性を表します。

2 番目の残りの接続:
$$\check{M}=M_{}+f_{}\left(M_{}\right)$$

残りの接続後のメインモード機能 M $M$ˇ最終的な感情認識または感情分類のために、それをリグレッサーまたは分類子に$\stackrel{送信します。}{}$

回帰

回帰モデルは、全結合層と結合損失で構成されます。

L =
$$\begin{gathered} L=(1-c)L_{マエ\_}+\gamma L{\_}_{KRL\_} \\ \begin{array}{c}{L}_{マエ\_}=-\frac{}{N}\sum _{n=1}|y^{\left(n\right)}-z^{\left(n\right)}|\\ z={私}^T\check{M}+b_{}\end{array} \end{gathered}$$
$L_{マエ\_}$平均絶対誤差損失を表します。$L_{KRL\_}$カーネル正則化損失を表します ( $L_{KRL\_}$目的は、親和性行列$S_{M^{あ}{\_}^{}}$WWが保証されるとき$W$は正の半定値行列です)

分類

分類モデルは、全結合層、ソフトマックス関数、および結合損失で構成されます。

L = ( 1 − γ ) LCE + γ LKRLLCE = − 1 N ∑ n = 1 N ynlog ( P ( y ^ n ) ) P ( y ^ ) = Softmax ( θ ™ ˇ + b 3 ) を決定します。
$$\begin{array}{c}L=(1-c)L_{}+\gamma L{\_}_{KRL\_}\\ \begin{array}{r}{L}_{}=-\frac{}{N}\sum _{n=1}{y}_{}log\left(P\right(y_{})\end{array}\\ \begin{array}{r}P\left(y\right)=softmax(\theta \_{}^T\check{M}+b_{})\end{array}\end{array}$$
$L_{}$標準クロスエントロピー損失を表します。

結論と議論

1. CMU-MOSI および CMU-MOSEI データセット上で MIA-Net モデルといくつかの SOTA モデルの間で比較実験が行われ、MIA-NET が最良の結果を達成しました。
2. MIA-Net は、3 つ以上のモダリティからのデータを処理する場合に効果的です。(アブレーション研究)
3. MIA-Net は、新しいデータ セット、タスク、モダリティに一般化できます。(一般研究)
4. マルチモーダル対話型注意モジュールは、補助融合を効果的に達成できます。（提案されたモーダルの検証）
5. ハイパーパラメータの勉強。
6. 共同損失は有効です。(損失関数の研究)
7. さまざまな融合方法との比較。(この研究の実用性を証明してください)

コードとデータセット

コードは公開されていません

データセット: CMU-MOSI(1.5G)、CMU-MOSEI(25G)、MELD(10G)

GPU構成: 記載なし