(未完)
个人笔记
MTPE:MT机器翻译,PE译后编辑
2016年开始逐渐兴起
NMT是以神经网络作为基础的机器翻译,开始在全面超越此前以统计模型为基础的统计机器翻译(SMT),并快速成为在线翻译系统的主流标配。
目前,广泛应用于机器翻译的是长短时记忆(LSTM,Long Short-Term Memory)循环神经网络(RNN,Recurrent Neural Network)。该模型擅长对自然语言建模,把任意长度的句子转化为特定维度的浮点数向量,同时“记住”句子中比较重要的单词,让“记忆”保存比较长的时间。
代表性的研究机构和公司包括,加拿大蒙特利尔大学的机器学习实验室,发布了开源的基于神经网络的机器翻译系统GroundHog。
现有NMT系统通病:计算量大,难以应对低频词汇。
目前NMT系统的突破方法:1.注意力模型,来自Deepmind在机器视觉领域的技术构想。
2.调动用户主动纠错翻译结果,并以之建立数据库。
3.尝试优质训练资料(深度学习架构)下的弱监督学习。
4.强大的垂直领域数据库和好的数据抽调模型。
一、谷歌
tf-seq2seq —— 基于 TensorFlow 的 seq2seq 框架(开源)
二、搜狗
WMT2017国际翻译大赛,中英/英中双冠军,8项测评中有7项第一。并且获得主要机器指标BLEU(Bilingual Evaluation Understudy)第一名。
EVA平台,研究如何去做训练,研究更好的模型
自有硬件
搜狗团队在自己的深度学习平台内部孵化出一个工具,试图解决在已有 ARM 的 CPU 等计算硬件的条件下,如何进行更高效的运算的问题。
搜狗机器翻译系统以深度循环神经网络编码解码框架技术(Deep Recurrent Neural Network Encoder-Decoder)作为主要技术,使用完全端到端的学习方式。这种独特的人工智能技术不仅保证了整个翻译决策过程的连续性,而且使得翻译出的句子在流畅度上更优异。采用 encoder attention 加 decoder 技术,采用 layer norm 加速收敛,深层 RNN-NMT 模型。
2017下半年上线了基于transformer的机器翻译系统,并且解决了这个系统解码器很慢的缺点(提升了8倍速度),形成了自有的Transformer框架(离线形式)
三、腾讯
WMT2018 腾讯翻译君获得中英翻译冠军