The Transformer

本文首发于我的个人博客Suixin’s Blog
原文: https://suixinblog.cn/2019/01/transformer.html　　作者: Suixin

Transformer是个叠加的“自注意力机制（Self Attention）”构成的深度网络，是目前NLP里最强的特征提取器。
论文：Attention Is All You Need

模型架构

整体上还是由Encoders和Decoders两部分组成的，而每一个部分是由6个Encoder和Decoder堆栈成的，每个的结构完全相同，但不共享权重。

Encoder

每个Encoder由两部分组成：Multi-head self-attention层和Feed Forward NN层。

Decoder

每个Decoder由三部分组成：Multi-head self-attention层，Encoder-Decoder Attention层和Feed Forward NN层。

模型细节

Encoder

self-attention

动机：当模型处理每个单词（输入序列中的每个位置）时，self-attention允许它查看输入序列中的其他位置以寻找可以帮助导致对该单词更好的编码的线索。

1. 每个单词除了本身的Embedding向量 $x$都对应三个向量，分别有不同的用处：Query向量 $q$，Key向量 $k$和Value向量 $v$。维数一般低于单词的嵌入向量，论文中使用64（Embedding为512维）。这三个向量分别是在训练过程中将Embedding向量 $x$乘以三个矩阵 $W^Q$， $W^K$和 $W^V$得到。
2. 我们需要根据当前编码的单词对输入句子的每个单词进行评分，分数决定了对输入句子的其他部分放置多少焦点。通过将当前单词的Query向量与其它单词的Key向量做内积计算得分。
3. 将得分除以8（论文中使用Key向量维数的平方根）。可以使得梯度更稳定？
4. softmax层将所有的分值变为概率值。
5. 用softmax概率值乘以Value向量。直观解释：保持想要关注的值更大，不想关注的单词被淹没掉。
6. 对上面得到的向量求和得到当前编码单词的self-attention输出向量 $z$。

使用矩阵形式可以并行计算。
图示：

Multi-head

动机：将信息映射到不同的子空间，可能会抓取到不同位置的注意信息。
按照self-attention方式进行相同的几次计算（论文中使用8头），每次使用不同的权重矩阵（ $W^Q$， $W^K$和 $W^V$），最终会得到几个不同的 $Z$矩阵，将它们直接拼接起来得到一个很长的矩阵 $Z$，再乘以一个参数矩阵 $W^O$将矩阵压缩到低维（同Embedding维数）。

Position encoding

单词顺序是NLP中非常重要的信息，所以加入Position encoding是考虑输入序列中单词顺序的一种方法。将位置编码与Embedding向量直接加起来得到真正的单词输入向量。
论文中给出了两个位置编码公式：

此处，pos是当前单词所处的位置， $2i/2i+1$是Position encoding的维度信息（如第一个单词的第一维位置编码值为 $PE_{(0,2\times0)}=sin(0/10000^{2\times0/512})=0$，pos和维度都是从0开始。参考1中Position Encoding算错了）。使用这个正弦余弦的公式的优点是可以扩展到序列长度大于训练模型中任意长度的情况。

Feed Forward NN层

该层为简单的全连接层，使用了RELU激活函数，论文中该全连接的隐藏层维数为2048，公式如下：

Add & Norm

在每一个子层的结束，输出矩阵为 $Z$，我们将该层的输入矩阵 $X$和 $Z$直接相加，再做Normalize操作 $LayerNorm(X+Z)$，该Norm函数引用了参考文献1: Layer Normalization。
Norm方法有很多，但它们都有一个共同的目的，那就是把输入转化成均值为0方差为1的数据。我们在把数据送入激活函数之前进行normalization，因为我们不希望输入数据落在激活函数的饱和区。

总架构图

真正的Encoders由N（论文中N=6）个相同的Encoder堆栈而成

Decoder

1. 由Encoder最后的输出矩阵变换得到两个Attention矩阵 $K_{encoder}$和 $V_{encoder}$，分别输入到每个Encoder-Decoder Attention层，需使用时直接查询其中的Key向量和Value向量。这有助于解码器关注输入序列中的适当位置。而此层的Query向量则由之前的Decoder层得到。
2. 在每一次Decoders解码一个单词的时候，整个模型的输入有三个：网络底层输入上一个解码出单词的embedding向量，在Encoder-Decoder层输入Encoders最后输出的两个矩阵 $K_{encoder}$和 $V_{encoder}$。使用上一个解码出的单词embedding向量传到Decoders最底层过一遍Masked Multi-head Attention，最后输出一个向量，再用这个向量生成Query向量以供中间的Encoder-Decoder Attention层使用。
3. 只有第一个Decoder需要上一个解码出单词的embedding向量信息，后面的几个Decoder直接将上一个Decoder的输出作为Masked Multi-head Attention的输入。
4. 每一个Decoder也都和Encoder一样使用了Add & Norm以及Position encoding。

Linear层和softmax层

该层是一个简单的全连接网络，将最后一个Decoder输出的向量投影到一个更高维度的空间去（词典维数）。
softmax层将Linear层的输出向量转化为概率输出，选择最大概率的单词作为输出。

两张有助于理解的图

Encoders最后将 $K_{encoder}$和 $V_{encoder}$输出给每个Decoder的Encoder-Decoder层：

Google AI Blog做的动图：

Mask

Padding mask在所有的scaled dot-product attention里面都需要用到，而Sequence mask只有在Decoder的self-attention里面用到。

Padding mask

语料库中每个句子的长度是不同的，我们需要对齐。使用我们设置的阈值（一般为255），对于较长的序列，直接截取左边的序列，对于较短的序列，在其后添加0。
而在scaled dot-product attention中，不能对这部分添加了0的单词位置加上较高的注意力，所以在self-attention中的softmax之前，直接将这些位置的值设为 $-Inf$，经过softmax后这些位置的概率值会变为0。
即下图中的Mask(opt.)块：

Sequence mask

Sequence mask是为了使得Decoder不能看见未来的信息，使得解码器的attention只能关注当前解码单词之前的输出单词，而不能依赖后面未解码出来的。
所以跟Padding mask一样，对其后的单词位置直接设为 $-Inf$，经过softmax后这些位置的概率值会变为0。
这步操作对应Decoder中第一个构件：Masked Multi-head Attention。

Loss Function

使用交叉熵或者KL散度去比较两个输出之间的差距，然后使用反向传播优化其中的所有参数。

beam search（束搜索）

在最后的softmax层我们直接输出了最大值位置的单词，叫做贪婪解码。
另一种更合理的解码方式叫做束搜索。假设第1#位置解码出的概率值，前两大的位置单词为I和me，那么在第2#位置解码时，依赖的第1#位置单词分别取为I和me，分别跑两次算法，在其中再选两个得分最高（或误差最小）的结果，依次类推。最终会得到两个得分最高的序列。

参考

1. 主要参考: The Illustrated Transformer
2. Google AI Blog: Transformer: A Novel Neural Network Architecture for Language Understanding
3. 神经机器翻译 之 谷歌 transformer 模型
4. Transformer模型详解
5. Harvard NLP的解释和代码: The Annotated Transformer