自己注意とコード手書きの紹介

自己注意

---

セルフアテンションアーキテクチャ

自己注意が機能する方法は、ベクトルの行を入力し、ベクトルの行を出力することです。

出力ベクトルは、すべての入力ベクトルの情報を考慮します。

• セルフアテンションは何回でも重ね合わせることができ、
  
  完全接続層 (FC) とセルフアテンションは互換的に使用できます。

1. セルフアテンションはシーケンス全体の情報を処理します
2. 特定拠点からのお問い合わせ対応を中心としたFCのネットワーク

自己注意のプロセス

• そのアーキテクチャの 1 つは次のようなもので、出力は$b$ 是$a$が計算されて出力されます。

• $b^1$是考虑了${ある}^1、{ある}^2、{ある}^3、{ある}^4$以降に生成されます

• $b^2、b^3、b^4$也是考虑了${ある}^1、{ある}^2、{ある}^3、{ある}^{図４に示す}$ように、それらの計算原理は同じである。

  2 つの入力ベクトルの相関を計算します。

• 2 つの一般的な計算方法:ドット積と加算

• このうち、最初の方法では、まずこれら 2 つのベクトルに W を掛けます (これら 2 つの w は異なり、一方はweight_q、もう一方はweight_k)、それぞれ q、kq、k が得られます$q、k$を計算し、内積を実行してスコア${ある}_{私、}$ai と ajの計算を示します${ある}_{}そして{\_}_{}$関連性のあるもの。

• 然后${ある}^1$ 分别和 ${ある}^2、{ある}^3、{ある}^4$類似度を計算します。${ある}^1$的$q^1$分别和${ある}^2、{ある}^3、{ある}^{}$k 2 、 k 3 、 k 4 の 4 k^{2},k^{3},k${}^{^}$ {4}$k^2、k^3、k^4$内積を実行して注意を引く scorce${ある}_{1、2\_}$、${ある}_{1、3\_}$、${ある}_{1、4\_}$, 実際の運用ではa 1 a^{1}も計算されます${ある}^{自分との類似点が1\; つあります}$。

• 接下来将${ある}_{1、1\_}、{ある}_{1、2\_}$、${ある}_{1、3\_}$、${ある}_{1、4\_}$、ソフトマックス層の後に${ある}_{1、1\_\_}^{{}^{}}$ ${ある}_{1、2\_\_}^{{}^{}}$…
  

• 次に${ある}^1$到${ある}^4$の各ベクトルは$W^{v\; は}$新しいベクトルを取得し、それぞれ$v^1、v^2、v^3、v^4$

• 次に、$v^1$から$v^{4\; では}$、各ベクトルに注意スコアが乗算され、合計されて$b^1$
  $$b^1=\underset{私}{}{ある}_{1、私}^{{}^{}}{v}^{私}$$

• 同理,${ある}^2、{ある}^3、{ある}^4$も同じ操作を行って$b^2、b^3、b^{\mathrm{４}}$．

マトリックス角度

各入力ベクトルは qi 、 ki 、 viq^{i} 、k^{i}、v^{i}のセットを生成します。$q^{私}、k^{私}、v^{私}$

したがって、私たちはそれぞれ${ある}^{私は}$wqw^{q}を掛けたままにしておきます$w^q$行列の場合、行列乗算を行うことで Q 行列を取得できます。Q 行列の各列はそれぞれ入力${ある}^i$の$q^{私は}$。

同様に、各グループ$k^{私}、v^{i\; は}$行列を使用して計算することもできます。

各注目${ある}_{私、}$i 番目の入力の$q^i$と j 番目の入力$k^j$の内積.

次に、これらの 4 つのステップは、行列とベクトルを乗算することで取得できます。

さらに、すべてのアテンションを計算し、${あ}^{{}^{一方}}$

b$b^1$はviv^{i}を使用することです。$v^i$左乘${あ}^{{}^{\text{'}}}$取得、

レビュー

図(15)

• I は自己注意の入力であり、自己注意の入力はベクトルの行であり、行列の列としてまとめられます。
• 入力は 3 つの行列$$w^q、w^k、w^{v\; は}$$Q、K、V を取得します。
• 次に、Q に K の転置を乗算して行列 A を取得し、ソフトマックス処理後、${あ}^{{}^{\text{'}}}$を左に V で乗算して出力を取得します。
• したがって、自己注意で学習する唯一のパラメータは、ネットワーク トレインが必要な部分である W 行列です。

---

コード例

この例は次の手順に分かれています。

1. 入る準備ができています
2. 重みを初期化する
3. キー、クエリ、および値の表現をエクスポートする
4. 注意スコアの計算
5. ソフトマックスを計算する
6. 注意スコアに値を乗算します
7. 重み付けされた値を合計して出力を取得します

入力を想定すると:

    Input 1: [1, 0, 1, 0]     
    Input 2: [0, 2, 0, 2]  
    Input 3: [1, 1, 1, 1]

初期化パラメータ

入力は 3 つの 4 次元ベクトルであるため、図 (15) に左から W を掛ける必要があり、W の次元は (4,3) に設定されます。

$$w^k、w^q、w^v$$はそれぞれ w_key、w_query、w_value です。

   x = [
    [1,0,1,0], # 输入1
    [0,2,0,2], #输入2
    [1,1,1,1], #输入3
    ]
    x = torch.tensor(x,dtype=torch.float32)
    # 初始化权重
    w_key = [
        [0, 0, 1],
        [1, 1, 0],
        [0, 1, 0],
        [1, 1, 0]
        ]
    w_query = [
        [1, 0, 1],
        [1, 0, 0],
        [0, 0, 1],
        [0, 1, 1]
        ]
    w_value = [
        [0, 2, 0],
        [0, 3, 0],
        [1, 0, 3],
        [1, 1, 0]
        ]
    # 转化成tensor数据类型
    w_key = torch.tensor(w_key,dtype=torch.float32)
    w_query = torch.tensor(w_query, dtype=torch.float32)
    w_value = torch.tensor(w_value, dtype=torch.float32)

QKVを見る

querys = torch.tensor(np.dot(x,w_query),dtype=torch.float32)

keys = torch.tensor(np.dot(x,w_key) ,dtype=torch.float32)

注意を計算する

# get attention scorce
attention_scores = torch.tensor(np.dot(querys,keys.T))

ソフトマックス処理

# 计算soft-max
attention_scores_softmax = torch.tensor( softmax(attention_scores,dim=-1) )

注意スコアに値を乗算します

weight_values = values[:,None] * attention_scores_softmax.T[:,:,None]

重み付けされた値を合計して出力を取得します

outputs = weight_values.sum(dim=0)

テストコード

import torch
import numpy as np
from torch.nn.functional import softmax
def preData():
    #
    x = [
    [1,0,1,0], # 输入1
    [0,2,0,2], #输入2
    [1,1,1,1], #输入3
    ]
    x = torch.tensor(x,dtype=torch.float32)
    # 初始化权重
    w_key = [
        [0, 0, 1],
        [1, 1, 0],
        [0, 1, 0],
        [1, 1, 0]
        ]
    w_query = [
        [1, 0, 1],
        [1, 0, 0],
        [0, 0, 1],
        [0, 1, 1]
        ]
    w_value = [
        [0, 2, 0],
        [0, 3, 0],
        [1, 0, 3],
        [1, 1, 0]
        ]
    # 转化成tensor数据类型
    w_key = torch.tensor(w_key,dtype=torch.float32)
    w_query = torch.tensor(w_query, dtype=torch.float32)
    w_value = torch.tensor(w_value, dtype=torch.float32)

    # get K, Q,V

    keys = torch.tensor(np.dot(x,w_key) ,dtype=torch.float32)
    querys = torch.tensor(np.dot(x,w_query),dtype=torch.float32)
    values = torch.tensor(np.dot(x,w_value),dtype=torch.float32)

    # get attention scorce
    attention_scores = torch.tensor(np.dot(querys,keys.T))
    print(attention_scores)
    # 计算soft-max
    attention_scores_softmax = torch.tensor( softmax(attention_scores,dim=-1) )
    print(values.shape)
    weight_values = values[:,None] * attention_scores_softmax.T[:,:,None]
    outputs = weight_values.sum(dim=0)
    return outputs

if __name__ == "__main__" :
    b = preData()
    print(b)

参考

• コードのソース