Day3_attention is all you need 论文阅读

感觉自己看的一脸懵b;

但看懂了这篇文章要讲啥:

  1. RRN为背景的神经机器翻译是seq2seq,但这样带来的问题是不可以并行计算,拖长时间,除此之外会使得寻找距离远的单词之间的依赖关系变得困难。而本文讲的Attention机制就很好的解决了这个问题,并且也解决了远距离之间的依赖关系问题。
  2. 前馈神经网络,有异于RNN,输入层到输出层之间没有递归。输入层到输出层只是单向的传输。
  3.  -------------------------至于实现,自己一脸懵,明天继续-------------打包回家------

猜你喜欢

转载自www.cnblogs.com/Shaylin/p/9807385.html