1. 前言
近年来，NLP领域发展迅速，而机器翻译是其中比较成功的一个应用，自从2016年谷歌宣布新一代谷歌翻译系统上线，神经机器翻译（NMT，neural machine translation）就取代了统计机器翻译（SMT，statistical machine translation），在翻译质量上面获得了大幅的提高。目前神经机器翻译模型主要分为三种：
- 一种是以rnn为基础的模型， 一般是LSTM+attention，顺序处理输入信息。
- 一种是以cnn为基础的模型，今天要讲的Fairseq就属于这种
- 一种是完全依靠attention的模型，如谷歌的transformer
2. Fairseq背景
Fairseq 这个翻译模型由Facebook AI实验室在2017年提出，和以往以RNN为基础的翻译模型相比，采用了以cnn为主的模型结构。
RNN的链式结构，能够很好地应用于处理序列信息。但是，RNN也存在着劣势：一个是由于RNN运行时是将序列的信息逐个处理，不能实现并行操作，导致运行速度慢；另一个是传统的RNN并不能很好地处理句子中的结构化信息，或者说更复杂的关系信息。
相比之下，CNN的优势就凸显出来。文章提到用CNN做seq-seq这种翻译任务有3个好处：
- 通过卷积的叠加可以精确地控制上下文的长度，因为卷积之间的叠加可以通过公式直接计算出感受野是多少，从而知道上下文的长度，RNN虽然理论上有长时记忆的功能，但是在实际的训练过程中，间隔较远的时候，很难学到这种词与词之间的联系。
- 卷积可以进行并行计算，而RNN模型是时序的，只有前一帧得出结果才能进行后续的计算。
- 对于输入的一个单词而言，输入CNN网络，所经过的卷积核和非线性计算数量都是固定的，不过对于输入RNN的单词而言，第一个单词要经过n次unit的计算和非线性，但是最后一个单词只经过1次，文章说固定队输入所施加的非线性计算会有助于训练。
3. 模型
模型结构如下图所示：
3.1 Position Embedding
输入除了词向量之外，还加入了位置信息，最后的输入向量为词向量加上位置向量。
词向量:\(w=(w_1,w_2,...w_n)\)
位置向量:\(p=(p_1,p_2,...p_n)\)
最终输入的向量：\(e=(w_1+p_1,w_2+p_2,...w_n+p_n)\)
3.2 Convolutional Block Structure
encoder 和 decoder 都是由l层卷积层构成，encoder输出为\(z^l\)，decoder输出为\(h^l\)。由于卷积网络是层级结构，通过层级叠加能够得到远距离的两个词之间的关系信息。
这里把一次“卷积计算+非线性计算”看作一个单元Convolutional Block，这个单元在一个卷积层内是共享的。
- 卷积计算：卷积核的大小为\(W^{kd*2d}\)，其中\(d\)为词向量长度，\(k\)为卷积窗口大小，每次卷积生成两列\(d\)维向量
- 非线性计算：非线性部分采用的是门控结构 gated linear units（GLU）。
- 残差连接：把输入与输出相加，输入到下一层网络中。
\[ h_i^l=v(W^l[h_{i-\frac{k}{2}}^{l-1},...,h_{i+\frac{k}{2}}^{l-1}]+b^l_w)+h_i^{l-1} \]
- 输出：decoder的最后一层卷积层的最后一个单元输出经过softmax得到下一个目标词的概率。
\[ p = softmax(Wh^L+b) \]
3.3 Multi-step Attention
原理与传统的attention相似，attention权重由 decoder 的当前输出h_i和 encoder 的所有输出共同决定，利用该权重对encoder的输出进行加权，得到了表示输入句子信息的向量\(c_i\)，\(c_i\)和\(h_i\)相加组成新的\(h_i\)。计算公式如下:
\[ d^l_i=W^l_dh^l_i+b_d^l+g_i \]
\[ a^l_{ij}=\frac{exp(d_i^lz_j^u)}{\sum_{j=1}^mexp(d_i^lz_j^u)} \]
\[ c^l_{i}=\sum_{j=1}^ma_{ij}^l(z_j^u+e_j) \]
这里\(a_{ij}^l\)是权重信息，采用了向量点积的方式再进行softmax操作，这里向量点积可以通过矩阵计算，实现并行计算。
最终得到\(c_i\)和\(h_i\)相加组成新的\(h_i\)。如此，在每一个卷积层都会进行 attention 的操作，得到的结果输入到下一层卷积层，这就是多跳注意机制multi-hop attention。这样做的好处是使得模型在得到下一个主意时，能够考虑到之前的已经注意过的词。
4. 总结
将CNN成功应用于seq2seq任务中，发挥了CNN并行计算和层级结构的优势。CNN的并行计算明显提高了运行速度，同时CNN的层级结构方便模型发现句子中的结构信息。
同时模型中的一些细节处理，比如非线性部分采用的是门控结构 gated linear units（GLM），多跳注意机制multi-hop attention，都是模型效果提升的关键。
（欢迎转载，转载请注明出处。欢迎沟通交流： [email protected]）