Attention Model 的理解

之前一直都听到,Attention is all you need. 今天,了解了一下Attention的大致思想,还是很高的抽象,具体过程还没接触。

  这项技术来源人类的视觉系统,当我们看到一副图片的时候,我们会自动的关注图片中那些显著的成分,并且我们还会聚焦,也就是对于一张图片来讲,对于不同的区域我们会有不同的权重。

  对于NlP中的具体应用,我们可以看到这样一个例子: 也就是 Encoder-Decoder模型

参考博客:

https://blog.csdn.net/malefactor/article/details/50550211#commentsedit

猜你喜欢

转载自www.cnblogs.com/chunchao/p/11698057.html