论文阅读：Dual Learning for Machine Translation

论文阅读：Dual Learning for Machine Translation

问题提出：

目前在机器翻译的领域，神经机器翻译（NMT）快速发展，取得了很好的效果，但是为了得到一个好的NMT的模型，需要大量的人工标记的训练

集即双语的语句对。 人工标记大量的数据费时费力，本文的目的就是提出一种方案（dual learning）来解决这个问题，并且可以得到相比于NMT模

型更好的效果。

思考：

作者观察到在机器学习的任务中，有许多任务是对偶存在的，比如：英汉互译。现实中我们往往分别考虑两个过程，即对于汉语翻译成英语进行一个模型的训练，

对于英语翻译成汉语进行另一个模型的训练。那这两个模型之间是否存在着什么关系呢？是否可以同时训练这两个过程，同时两者之间可以相互的促进？假如前面

两个问题是true的话，回到本文的初衷，新的模型又是如何解决大量标记数据的问题的呢？

思想：

Dual learning的整个过程可以看作两个代理人的交流游戏：

1. 第一个Agent 只懂得语言A，可以将语言A的信息通过一个有噪声的信道发送给第二个Agent，这个有噪声的信道可以使用一个翻译模型将语言A翻译成

第二个Agent懂得的语言B。

2. 第二个Agent只懂得语言B，她接收到第一个Agent发来的信息（已经被翻译成语言B），然后她会对该信息进行判断（比如语法是否正确，语句是否完整等），

注意她并不能准确的判断该信息的正确性，因为原始的信息对她来说是不可见的。之后她将此时的信息通过另一个有噪声的信道再发送回第一个Agent，该信道使用另一个翻译模型将语言B的信息转换为语言A。

3. 第一个Agent接收到B传回来的信息后，就与原始的信息进行比对，看两者的一致性。通过这个反馈（feedback），两个Agent都可以知道两个信道（两个翻译模型）是否执行的比较好（perform well）以及是否可以相互促进。

4. 当然也可以从第二个Agent开始。这两个Agent通过这个闭环的过程，根据反馈可以不断的提升两个翻译模型。

从上述描述中可以看出，尽管这两个Agent都没有与之标记的双语的标签，但是她们依然可以得到关于这两个翻译模型的反馈，并依据此反馈来提高模型的翻译能力。由此也可以看出，我们并不需要大量的双语对的训练集（为了加快模型的训练速度，也可以先使用少量的双语对训练集进行模型的训练——需要实验的论证）。

算法过程：

有两个单语言的集合DA和DB，分别是语言A的集合和语言B的集合，这里注意DA和DB并不需要相互匹配，甚至不需要含有部分的匹配。现在假定我们已经有了两个比较弱 的翻译模型，可以将语言A翻译成语言B，也可以将语言B翻译成语言A，我们的目标是使用单语言的集合来提高我们模型的翻译准确率（这里看出其实是不需要进行标记， 是一个无监督学习过程）。

假设DA包含NA个句子，DB包含NB个句子。定义 和表示两个神经翻译模型，和分别是这两个模型的参数。

假设我们已经有了两个训练好的语言模型和，每个语言模型接受一个句子作为输入，然后输出一个真值（real value）来表示该语句是否是一个自然的语句（natural sentence），注意它只是判断一个句子是否正常，如是否符合语法，是否通顺等，并不是进行翻译。

第1行：算法的输入，数据集DA和DB，初始化后的翻译模型参数 和（弱翻译器），语言模型和，

超参数，beam search算法的大小参数（size），学习率。

第2行到第17行：循环过程直至算法收敛

第3行：t 表示算法的迭代次数，每经过一次迭代，t的值加上1

第4行：例句SA和SB分别来自于DA和DB

第5行：令s为SA（假定模型更新从A开始）

第6行：使用beam search算法，根据翻译模型生成K个句子

第7行到第11行：for循环，1—K

第8行：令语言模型对第K个例句的回报为

第9行：令第k个例句的交流回报为

第10行：令第K个例句的整个回报为

第12行：使用随机梯度下降策略计算的下降梯度

第13行：使用随机梯度下降策略计算的下降梯度

第14行：更新参数

第15行：令s为SB

第16行：返回第6行继续执行 （这里返回后，第8行的回报计算式子使用来计算，第9行的也要相应的更换）

实验验证：

实验的评测方法使用BLUE，baseline使用NMT和pseudo-NMT。

其中Large表示使用所有的数据集，Small表示使用整个数据集的10%，从表中可以看出，相比于baseline，有了很大的提高，尤其是

对于数据量相对较小时更加明显。

进一步的，本文使用一些手段对原有的三个模型从语句向量的构造，硬件条件等方面进行改进（如：利用主流的框架实现NMT，但保证GPU为单一变量），

得到下表：

结论依然不变。

拓展（extension）：

本文述了对于两个对偶的任务，可以使用对偶学习（dual learning）,但并不局限于两个任务，因为我们关心的是其中的反馈，

如果3个甚至更多个任务可以构成一个闭环，从理论上我们依然可以利用本文的思想（dual learning），使用无标签的数据进行每个模型的

训练。比如我们有一个英语语句X ，可以将其翻译成汉语Y，然后再翻译成法语语句Z，最后翻译成英语 W ，通过比较X和W我们就可以

指出这三个翻译模型翻译的准确率，问题解决的关键点是这个闭环过程中的反馈（feedback）。