Levenshtein Transformer翻译

摘要

现有的神经序列生成模型，要么是从头开始逐步生成字符，要么（迭代地）修改以固定长度为边界的字符序列。在这项工作中，我们提出了Levenshtein Transformer，这是一种新的部分自回归模型，旨在更灵活，更顺畅地生成序列。与以前的方法不同，我们模型的基本操作是insertion和deletion。它们的组合不仅有利于生成，而且有利于优化长度动态变化的序列。我们还提出了一套专门针对它们的新训练技术，由于它们的互补性，可以有效地利用一种作为另一种学习信号。提出的模型在生成（例如机器翻译，文本摘要）和优化任务（例如自动后编辑）方面都达到了相当甚至更好的性能，并且效率大大提高。通过展示经过机器翻译训练的Levenshtein Transformer可以直接用于自动后期编辑，我们进一步证实了模型的灵活性。

1.介绍

神经序列生成模型已经广泛开发并部署在诸如机器翻译之类的任务中。与会逐步生成字符的最流行的自回归模型框架相比，尽管性能略差，但最近的非自回归方法已证明可以在更少的解码迭代次数内执行生成。
　　在本文中，我们提出了Levenshtein Transformer（LevT），旨在解决当前解码模型缺乏灵活性的问题。值得注意的是，在现有框架中，随着解码的进行，生成的序列的长度是固定的或单调增加的。这仍然与人类的情况不兼容，人类可以修改，替换，撤消或删除其生成的文本的任何部分。因此，LevT被提出通过打破目前的标准化解码机制并将其替换为两个基本操作（insertion和deletion）来弥补这一差距。
　　我们使用模仿学习训练LevT。结果模型包含两个策略，它们以替代方式执行。从经验上讲，我们显示出LevT在机器翻译和摘要方面达到了比标准Transformer模型可比或更好的结果，同时保持了类似于 (Lee et al., 2018) 的受益于并行解码的效率优势。使用这种模型，我们认为解码变得更加灵活。例如，当给解码器一个空字符时，它会退回到正常的序列生成模型。另一方面，当初始状态是生成的低质量序列时，解码器充当优化模型。实际上，我们证明了通过机器翻译训练的LevT可以直接应用于翻译后编辑，而无需进行任何更改。对于文献中的任何框架，这都是不可能的，因为模型的归纳偏差将生成和完善视为两个不同的任务。
　　LevT框架中的一个关键组件是学习算法。我们利用insertion and deletion的特征—它们是互补的，但也具有对抗性。我们提出的算法称为“双重策略学习”。这个想法是，当训练一个策略（插入或删除）时，我们将另外一个策略在先前迭代中的输出用作输入。另一方面，绘制了专家策略以提供校正信号。从理论上讲，该学习算法适用于存在双重对抗策略的其他模仿学习场景。在这项工作中，我们主要关注该算法的概念验证，以训练所提出的LevT模型。
　　为此，我们将贡献总结如下：

• 我们提出了Levenshtein Transformer（LevT），这是一种由insertion和deletion操作组成的新型序列生成模型。在机器翻译和文本摘要方面，该模型可比强大的Transformer基线获得可比甚至更好的结果，但效率要高得多（就实际机器执行时间而言，最高可提高5倍）；
• 我们在模仿学习的理论框架下提出了一种相应的学习算法，以解决双重政策的互补性和对抗性；
• 由于其内置的灵活性，我们认为我们的模型是统一序列生成和优化的先驱尝试。通过这种统一，我们凭经验验证了将机器翻译训练的LevT模型直接应用于翻译后编辑的可行性，而无需进行任何更改。

2.问题定义

2.1 序列生成和优化

通过将它们强制转换为由元组$(\mathcal{Y},\mathcal{A},\mathcal{E},\mathcal{R},{\text{y}}_0)$定义的马尔可夫决策过程（MDP），可以统一序列生成和优化的一般问题。我们考虑由agent与环境$\mathcal{E}$交互组成的设置，环境$\mathcal{E}$接收agent的编辑动作并返回修改后的序列。我们将$\mathcal{Y}={\mathcal{V}}^{N_{max}}$定义为一组长度为$N_{max}$的离散序列，其中$V$是符号词汇。在每次迭代解码中，agent都会收到从头开始或未完成生成的输入$\text{y}$，选择动作$\text{a}$并获得奖赏$r$。我们用$\mathcal{A}$表示动作集合，用$\mathcal{R}$表示奖赏函数。通常，奖赏函数$\mathcal{R}$测量生成序列与真实序列之间的距离$\mathcal{R}(y)=-\mathcal{D}(\text{y},{\text{y}}^{\ast })$，该距离可以是任何距离度量，例如Levenshtein距离。将${\text{y}}_0\in \mathcal{Y}$纳入我们的公式至关重要。作为初始序列，当${\text{y}}_0$是从另一个系统已经生成的序列时，agent会从本质上学习进行优化，而如果${\text{y}}_0$是空序列则会回落到生成。agent通过策略$\pi$建模，该策略将当前生成映射到$A$上的概率分布。即，$\pi :\mathcal{Y}\to P(\mathcal{A})$。

2.2 Actions: Deletion & Insertion

按照上述MDP公式，根据子序列${\text{y}}^k=(y_1,y_2,...,y_n)$，环境调用了两个基本操作（deletion和insertion）来生成$y^{k+1}=E({\text{y}}^k,{\text{a}}^{k+1})$。在这里，我们让$y_1$和$y_n$分别为特殊符号$<s>$和$</s>$。由于我们主要关注单轮生成的策略，因此在本节中为简单起见省略了上标。对于像MT这样的条件生成，我们的策略还包括源信息$\text{x}$的输入，此处也将其省略。
　　（1）Deletion
　　deletion策略读取输入序列$\text{y}$，并且对于每个字符$y_i\in \text{y}$，删除策略${\pi }^{del}(d|i,\text{y})$做出二分类决策，即1（删除字符）或0（保留字符）。我们另外约束${\pi }^{del}(0|1,\text{y})={\pi }^{del}(0|n,\text{y})=1$，以避免破坏序列边界。删除分类器也可以看作是GAN中使用的细粒度判别器，在该分类器中，我们为每个预测的字符预测一个“假”或“真实”标签。
　　（2）Insertion
　　在这项工作中，构建插入操作要稍微复杂些，因为它涉及两个阶段：占位符预测和字符预测，因此它能够在同一插槽中插入多个字符。首先，在$\text{y}$中所有可能的插槽$(y_i,y_{i+1})$中，${\pi }^{plh}(p|i,\text{y})$预测添加占位符数目的概率。接下来，对于如上预测的每个占位符，字符预测策略${\pi }^{tok}(t|i,\text{y})$用词汇表中的实际字符替换占位符。两阶段插入过程也可以看作是Insertation Transformer和屏蔽语言模型的混合体。
　　（3）Policy combination
　　回想一下，我们的两个操作是相辅相成的。因此，我们以另一种方式将它们组合在一起。例如，在从空开始的序列生成中，首先调用插入策略，然后将其删除，然后重复执行，直到满足特定的停止条件为止。实际上，可以在这种组合中利用并行性。我们实质上将序列生成器的一个迭代分解为三个阶段：（1）删除字符；（2）插入占位符；（3）用新字符替换占位符。在每个阶段内，所有操作都是并行执行的。更准确地说，给定当前序列$\text{y}=(y_0,...,y_n)$，并假设要进行预测的动作是 a = { d 0 , . . . , d n ⏟ d ; p 0 , . . . , p n − 1 ⏟ p ; t 0 1 , . . . t 0 p 0 , . . . , t n − 1 p n − 1 ⏟ t } \textbf a =\{\underbrace{d_0,...,d_n}_{\textbf d};\underbrace{p_0,...,p_{n-1}}_{\textbf p};\underbrace{t^1_0,...t^{p_0}_0,...,t^{p_{n-1}}_{n-1}}_{\textbf t}\} a={ d d0​,...,dn​​​;p p0​,...,pn−1​​​;t t01​,...t0p0​​,...,tn−1pn−1​​​​}，一次迭代的策略是：
$$\pi (\text{a}|\text{y})=\prod _{d_i\in \text{d}}{\pi }^{del}(d_i|i,\text{y})\cdot \prod _{p_i\in \text{p}}{\pi }^{plh}(p_i|i,{\text{y}}^{\prime })\cdot \prod _{t_i\in \text{t}}{\pi }^{tok}(t_i|i,{\text{y}}^{\prime \prime }),\text{\hspace{1em}(1)}$$
其中${\text{y}}^{\prime }=\mathcal{E}(\text{y},\text{d})$和${\text{y}}^{\prime \prime }=\mathcal{E}({\text{y}}^{\prime },\text{p})$。我们在每个子任务中并行化计算。

3.Levenshtein Transformer

在本节中，我们介绍了Levenshtein Transformer的框架和双重策略学习算法。总体而言，我们的模型将字符序列（或空字符）作为输入，然后通过在插入和删除交替进行迭代地修改它，直到两个策略组合在一起为止。我们在附录中描述了详细的学习和推理算法。

3.1 模型

　　我们使用Transformer作为基本构建块。对于条件生成，源$\text{x}$包含在每个TransformerBlock中。第l个块的状态为：
$${\text{h}}_0^{(l+1)},{\text{h}}_1^{(l+1)},...,{\text{h}}_n^{(l+1)}=\{\begin{array}{ll}{E}_{y_0}+P_0,E_{y_1}+P_1,...,E_{y_n}+P_n,& l=0\\ TransformerBloc{k}_l({\text{h}}_0^{(l)},{\text{h}}_1^{(l)},...,{\text{h}}_n^{(l)}),& l>0\end{array}\text{\hspace{1em}(2)}$$
其中$E\in {\mathbb{R}}^{|V|\times d_{model}}$和$P\in {\mathbb{R}}^{N_{max}\times d_{model}}$分别是字符和位置嵌入。我们展示了提出的用于修改序列（删除，插入）的LevT模型的示意图，如图1所示。
　　（1）Policy Classifiers
　　解码器的输出$({\text{h}}_0,{\text{h}}_2,...,{\text{h}}_n)$传递给三个策略分类器：
　　Deletion Classifier。LevT扫描输入字符（边界除外），并预测每个字符位置是否删除（0）或保留（1），
$${\pi }_{\theta }^{del}(d|i,\text{y})=softmax({\text{h}}_i\cdot A^T),i=1,...n-1,\text{\hspace{1em}(3)}$$
其中$A\in {\mathbb{R}}^{2\times d_{model}}$，并且我们总是保留边界字符。
　　Placeholder Classifier。LevT通过将隐藏表示转换为分类概率分布来预测要在每个连续位置对上插入的字符数量：
$${\pi }_{\theta }^{plh}(p|i,\text{y})=softmax(concat({\text{h}}_i,{\text{h}}_{i+1})\cdot B^T),i=0,...n-1,\text{\hspace{1em}(4)}$$
其中$B\in {\mathbb{R}}^{(K_{max}+1)\times (2d_{model})}$。根据它预测的字符数量（0到$K_{max}$），我们在当前位置插入相应的占位符数量。在我们的实现中，占位符由保留在词汇表中的特殊字符$<PLH>$表示。
　　Token Classifier。按照占位符预测结果，LevT需要填写字符来替换所有占位符。这是通过训练字符预测器来实现的，如下所示：
$${\pi }_{\theta }^{tok}(t|i,\text{y})=softmax({\text{h}}_i\cdot C^T),\forall y_i=<PLH>,\text{\hspace{1em}(5)}$$
其中$C\in {\mathbb{R}}^{|V|\times d_{model}}$是与嵌入矩阵共享的参数。
　　（2）Weight Sharing
　　我们的默认实现始终假设这三个操作共享相同的Transformer，以使从其他操作中学到的特征受益。但是，也有可能禁用权重共享并为每个操作训练单独的解码器，这增加了模型的容量，同时不影响整体推理时间。
　　（3）Early Exit
　　尽管在上述三个分类器上共享相同的Transformer结构在参数上有效，但是仍有改进的空间，因为一次解码迭代需要网络的三个完整通道。为了在性能和计算成本之间进行权衡，我们提出对${\pi }^{del}$和${\pi }^{plh}$执行early exit（将分类器附加到中间块而不是最后一个块），以减少计算，同时使${\pi }^{tok}$始终基于最后一块，这是因为字符预测通常比其他两个任务更具挑战性。

3.2 3.2 双重策略学习

　　（1）Imitation Learning
　　我们使用模仿学习来训练Levenshtein Transformer。本质上，我们让agent模仿从某些专家策略${\pi }^{\ast }$中得出的动作。专家政策源自直接使用真实目标或通过序列蒸馏过滤后获得的噪声较小的版本。目的是使以下期望最大化：
$$\underset{DeletionObjective}{\underbrace{{\mathbb{E}}_{{\text{y}}_{del}\sim d_{{\tilde{\pi }}_{del}};{\text{d}}^{\ast }\sim {\pi }^{\ast }}\sum _{d_i^{\ast }\in {\text{d}}^{\ast }}log{\pi }_{\theta }^{del}(d_i^{\ast }|i,{\text{y}}_{del})}}+\underset{InsertionObjective}{\underbrace{{\mathbb{E}}_{{\text{y}}_{ins}\sim d_{{\tilde{\pi }}_{ins}};{\text{p}}^{\ast },{\text{t}}^{\ast }\sim {\pi }^{\ast }}[\sum _{p_i^{\ast }\in {\text{p}}^{\ast }}log{\pi }_{\theta }^{plh}(p_i^{\ast }|i,{\text{y}}_{ins})+\sum _{t_i^{\ast }\in {\text{t}}^{\ast }}log{\pi }_{\theta }^{tok}(t_i^{\ast }|i,{\text{y}}_{ins}^{\prime })]}},$$
其中${\text{y}}_{ins}^{\prime }$是在${\text{y}}_{ins}$上插入占位符${\text{p}}^{\ast }$后的输出。${\tilde{\pi }}_{del},{\tilde{\pi }}_{ins}$是roll-in策略，我们从它们的诱导状态分布$d_{{\tilde{\pi }}_{del}},d_{{\tilde{\pi }}_{ins}}$反复绘制状态（序列）。这些状态序列首先由专家策略执行，并由专家返回建议的操作，然后将它们的条件对数概率最大化。根据定义，roll-in策略确定训练期间馈入πθ的状态分布。在这项工作中，我们有两种方法来构建roll-in策略—在真实数据中增加噪声或使用对抗政策的输出。图2显示了这种学习范例的示意图。我们正式记录了以下roll-in策略。
　　Learning to Delete。通过混合因子$\alpha \in [0,1]$，我们将${\tilde{\pi }}_{del}$设计为初始输入${\text{y}}^0$或应用模型的插入操作输出之间的随机混合：
d π ~ d e l = { y 0    i f    u < α    e l s e    E ( E ( y ′ , p ∗ ) , t ~ ) , p ∗ ∼ π ∗ , t ~ ∼ π θ } (6) d_{\tilde \pi_{del}}=\{\textbf y^0~~if~~u\lt \alpha~~else~~\mathcal E(\mathcal E(\textbf y',\textbf p^*),\tilde \textbf t),\textbf p^*\sim\pi^*,\tilde \textbf t\sim \pi_{\theta}\}\tag{6} dπ~del​​={ y0  if  u<α  else  E(E(y′,p∗),t~),p∗∼π∗,t~∼πθ​}(6)
其中$u〜Uniform[0,1]$和${\text{y}}^{\prime }$是准备插入字符的任何序列。通过采样而不是从等式（5）中求出argmax来获得$\tilde{\text{t}}$。
　　Learning to Insert。与删除步骤类似，受训练屏蔽语言模型的最新发展启发，我们将删除输出和对真实序列随机丢弃单词所得输出混合使用。我们之所以使用随机丢弃作为加噪的一种形式，以鼓励更多的探索。令$\beta \in [0,1]$和$u〜Uniform[0,1]$，
KaTeX parse error: Undefined control sequence: \p at position 169: …\textbf d \sim \̲p̲^{RND}\}\tag{7}
　　（2）Expert Policy
　　在模仿学习中构建专家策略至关重要，因为学习起来不能太难或太弱。具体来说，我们考虑了两种类型的专家：
　　Oracle。一种方法是建立一个可访问真实序列的oracle。它通过以下方式返回最佳操作${\text{a}}^{\ast }$（插入$p^{\ast },t^{\ast }$或删除$d^{\ast }$）：
$${\text{a}}^{\ast }=\underset{\text{a}}{\mathrm{argmin}}\mathcal{D}({\text{y}}^{\ast },\mathcal{E}(\text{y},\text{a}))\text{\hspace{1em}(8)}$$
在这里，考虑到可以通过动态规划有效地获得动作建议，我们使用Levenshtein距离作为$\mathcal{D}$。
　　Distillation。我们还探索使用另一种teacher模型来提供专家策略，这被称为 sequence-level knowledge distillation。 该技术已广泛用于先前的非自回归生成方法中。更准确地说，我们首先使用相同的数据集训练自回归teacher模型，然后用该教师模型的集束搜索结果${\text{y}}^{AR}$替换真实序列${\text{y}}^{\ast }$。我们使用与真实数据相同的机制来找到建议的动作。

3.3 推理

Greedy Decoding。在推理时，我们将训练后的模型应对初始序列${\text{y}}^0$进行多次迭代。我们选择与等式3，4，5中的最高概率对应的动作。此外，我们发现使用搜索（而不是贪心解码）或噪声并行解码不会在LevT中获得太多收益。这种观察与自回归解码中广泛发现的相反。我们假设可能有两个原因导致此问题：（i）自回归模型中贪心解码带来的局部最优点通常离全局最优点很远。搜索技术通过表格化解决了这个问题。但是，在我们的情况下，由于LevT动态地插入或删除字符，因此可以轻松地删除次优字符，然后重新插入更好的字符。（ii）LevT的对数概率不是选择最佳输出的好指标。但是，我们确实相信，如果我们包含一个外部重新排名工具，例如，自回归teacher模型，能够对模型带来较大提升。我们把这个讨论留在以后的工作中。
　　Termination Condition。当满足以下两个条件之一时，解码将停止：
　　循环：如果两个连续的优化迭代返回相同的输出，则生成将终止，该输出可能是（i）没有要删除或插入的单词； （ii）agent陷入无限循环：即插入和删除相互抵消并保持循环。
　　超时：我们进一步设置了最大迭代次数（超时），以确保在最坏情况下保持恒定的时间复杂度。
　　Penalty for Empty Placeholder。与 Stern et al. (2019) 类似，我们增加了在解码中插入占位符数目为0的惩罚。过度插入0占位符可能会导致输出缩短。从等式（4）中的对数0中减去惩罚项$\gamma \in [0,3]$。