multi-head_seft-attention（多头自注意力）

对比

相比于single-head，multi-head就是将$q^i$分成了$h$份

multi-head_seft-attention的计算过程

• 将$q^i$分成了$h$份
  

• 计算过程
  

对于每个Head，我们可以提取出他的$b_{11}$到$b_{m1}$，以$Hea{d}_1$举例

1. 将输入序列进行embedding后，变为向量$a_1$,$a_2$,$a_3$,$a_4$
2. 分别乘$W_1$,$W_2$,$W_3$后，提取$q^1$、$k^1$、$v^1$，将$q^1$分成了$h$份，其他两个也一样
3. $q^{11}$ query分别和自己的$k^{11}$以及其他token的key相乘，得到m个相似度分数，再经过softmax处理，得到新的m个分数。
4. 将处理后的权重得分分别于 $v^{11}$、… 、$v^{m1}$相乘，结果再相加，得到$b_{11}$，其他以此类推，直到$b_{m1}$

在这之后，我们将对应位置的$b$，concat起来

• 先按列concat，再按行concat

  • 所有head中的第一个$b_{11}$、$b_{12}$等，我们把它concat起来，组成一个大$b_1$
  • 对于第m个位置，我们将所有head中的$b_{mi}$ concat起来，组成一个大$b_m$
    

• $W^o$代表进行全连接，得到一个最终的结果[$b_1$、… 、$b_m$]

  m就是token的个数
  d_model就是每个token的维度