A-Paper-A-Day--#1-Convolutional-Sequence-to-Sequence-Learning

作者:chen_h
微信号 & QQ:862251340
微信公众号:coderpai


从今天开始,我会对一些研究论文做一个简短的摘要,我个人比较关注的领域是机器学习,强化学习和自然语言处理。我希望这个简短的摘要可以帮助到你。当然,我也有别的目的。我希望我能通过每天的阅读,可以帮助我提高论文写作和分析能力。

今天,我们来讨论一下最近的 Facebook AI research(FAIR)那篇卷积序列学习论文。以下是阅读本文的主要观点:

主要成果

  1. 对于机器翻译任务,卷积神经网络也能取得比较好的效果。

  2. 与循环神经网络相比,卷积神经网络具有高度并行性。因此,机器翻译系统可以做的更快。作者在性能上面提高了 9 倍。

  3. 多跳机制:网络不是一个句子一个句子看,而是多个句子一起看,这样才能产生更好的翻译。

为什么选择 CNN 而不是 RNN?

速度和可扩展性!

实验结果

  1. 在 WMT’16 英语 - 罗马尼亚语的翻译中取得最先进的结果,超过以前的最佳结果 1.8 BLEU。

  2. 在 WMT’14 英语 - 德语翻译中,结果比强大的 LSTM (Wu et al.(2016))还要好。

  3. 此外,作者说他的翻译速度提升了 9 倍。

代码

完整代码请点击这里


来源:Medium

猜你喜欢

转载自blog.csdn.net/coderpai/article/details/80216273