【动手深度学习-笔记】注意力机制（二）注意力评分函数

紧接上回：【动手深度学习-笔记】注意力机制（一）注意力机制框架

注意力评分函数

回顾使用高斯核的Nadaraya-Watson 核回归：
$$\begin{array}{r}\begin{array}{rl}f(x)& =\sum _{i=1}^n\alpha (x,x_i)y_i\\ & =\sum _{i=1}^n\frac{\exp \left(-\frac{1}{2}(x-x_i{)}^2\right)}{{\sum }_{j=1}^n\exp \left(-\frac{1}{2}(x-x_j{)}^2\right)}{y}_i\\ & =\sum _{i=1}^n\mathrm{softmax}\left(-\frac{1}{2}(x-x_i{)}^2\right)y_i.\end{array}\end{array}\text{\hspace{1em}(1)}$$
我们将高斯核指数部分$-\frac{1}{2}(x-x_i{)}^2$视为注意力评分函数（attention scoring function）， 简称评分函数（scoring function）， 然后把这个函数的输出结果输入到softmax函数中进行运算。 通过上述步骤，我们将得到与键对应的值的概率分布（即注意力权重）。 最后，注意力汇聚的输出就是基于这些注意力权重的值的加权和。

至此，我们可以根据上述的步骤，将注意力机制框架进一步细化描述：

用严格的数学语言描述，对于一个查询$\mathbf{q}\in {\mathbb{R}}^q$和m个键值对$({\mathbf{k}}_1,{\mathbf{v}}_1),\dots ,({\mathbf{k}}_m,{\mathbf{v}}_m),{\mathbf{k}}_i\in {\mathbb{R}}^k,{\mathbf{v}}_i\in {\mathbb{R}}^v$。注意力汇聚函数$f$可表示为：
$$f(\mathbf{q},({\mathbf{k}}_1,{\mathbf{v}}_1),\dots ,({\mathbf{k}}_m,{\mathbf{v}}_m))=\sum _{i=1}^m\alpha (\mathbf{q},{\mathbf{k}}_i){\mathbf{v}}_i\in {\mathbb{R}}^v,$$
其中$\alpha (\mathbf{q},{\mathbf{k}}_i)$为注意力权重, 是将$\mathbf{q},{\mathbf{k}}_i$通过注意力评分函数$a$得到一个相似性度量（标量），再通过softmax运算得到的概率分布：
$$\alpha (\mathbf{q},{\mathbf{k}}_i)=\mathrm{softmax}(a(\mathbf{q},{\mathbf{k}}_i))=\frac{\exp (a(\mathbf{q},{\mathbf{k}}_i))}{{\sum }_{j=1}^m\exp (a(\mathbf{q},{\mathbf{k}}_j))}\in \mathbb{R}.$$

选择不同的注意力评分函数$a$会导致不同的注意力汇聚操作。 流行的注意力评分函数有加性注意力（additive attention）评分和缩放点积注意力（scaled dot-product attention）评分

加性注意力

当查询$\mathbf{q}$和键$\mathbf{k}$的长度不同时，可以使用加性注意力评分函数：
$$a(\mathbf{q},\mathbf{k})={\mathbf{v}}^{\top }\text{tanh}({\mathbf{W}}_q\mathbf{q}+{\mathbf{W}}_k\mathbf{k})\in \mathbb{R}\text{\hspace{1em}(2)}$$
其中输入为查询$\mathbf{q}\in {\mathbb{R}}^q$和键$\mathbf{k}\in {\mathbb{R}}^k$；
分别和两个权重矩阵${\mathbf{W}}_q\in {\mathbb{R}}^{h\times q},{\mathbf{W}}_k\in {\mathbb{R}}^{h\times k}$相乘并相加，得到长为$h$的列向量；
使用$\tanh$作为激活函数，最后和值向量$\mathbf{v}\in {\mathbb{R}}^h$的转置相乘，得到一个标量值。

相当于将查询和键连结起来后输入到一个单隐藏层感知机（MLP）中，其隐藏单元数$h$是一个超参数

缩放点积注意力

查询和键具有相同的长度的情况下，我们可以使用缩放点积注意力评分来提高计算效率：
$$a(\mathbf{q},\mathbf{k})={\mathbf{q}}^{\top }\mathbf{k}/\sqrt{d}.$$
实践中往往是以小批次进行计算，假设查询和键的长度$d$，值的长度为$v$，一个批次大小为$n$，键的数量为$m$则有：
$$\mathrm{softmax}\left(\frac{\mathbf{Q}{\mathbf{K}}^{\top }}{\sqrt{d}}\right)\mathbf{V}\in {\mathbb{R}}^{n\times v}.$$
其中$\mathbf{Q}\in {\mathbb{R}}^{n\times d},\mathbf{K}\in {\mathbb{R}}^{m\times d},\mathbf{V}\in {\mathbb{R}}^{m\times v}$

进一步

【动手深度学习-笔记】注意力机制（三）多头注意力