之前一直都听到,Attention is all you need. 今天,了解了一下Attention的大致思想,还是很高的抽象,具体过程还没接触。
这项技术来源人类的视觉系统,当我们看到一副图片的时候,我们会自动的关注图片中那些显著的成分,并且我们还会聚焦,也就是对于一张图片来讲,对于不同的区域我们会有不同的权重。
对于NlP中的具体应用,我们可以看到这样一个例子: 也就是 Encoder-Decoder模型
参考博客:
https://blog.csdn.net/malefactor/article/details/50550211#commentsedit