Attention Mechanism 在自然语言处理中的应用

https://blog.csdn.net/qq_41058526/article/details/80578932

 Effective Approaches to Attention-based Neural Machine Translation

https://www.cnblogs.com/guoyaohua/p/9429924.html

它有一个很大的优点就是可以可视化attention矩阵来告诉大家神经网络在进行任务时关注了哪些部分。

 不过在NLP中的attention机制和人类的attention机制还是有所区别，它基本还是需要计算所有要处理的对象，并额外用一个矩阵去存储其权重，其实增加了开销。而不是像人类一样可以忽略不想关注的部分，只去处理关注的部分。