LSTM+注意力机制

LSTM+注意力这篇博客介绍的非常详细

理解LSTM网络

注意力机制

注意力机制从不同领域,什么时间域空间域等

对于注意力机制的权重是如何学习的?

没有找到很好地解释,目前觉得应该是由注意力机制动态生成,是编码器隐藏状态值h和解码器内部隐藏状态值S的函数,然后这个函数通过Softmax函数归一化得到概率即注意力权重。范围在(0,1)。

猜你喜欢

转载自blog.csdn.net/weixin_45823221/article/details/110820757
今日推荐