分层注意网络HAN介绍

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/rosefun96/article/details/85873908

背景

HAN是微软提出的一个网络，试图从句子的单词，文档的句子分层次构建网络。

1 模型

1.1 GRU序列编码

GRU两个门，重置门 $r_t$和更新门 $z_t$，一起控制信息的流动。

1.2 层次注意力机制
1.2.1 词编码与解码

编码过程

词的注意力机制：

1.2.2句子的编码与注意力机制
句子编码也是GRU，并且应用注意力机制。

2. 实践

参看链接2。

3. 总结

方法比较简单易懂，注意力机制也是谷歌提出后比较火的方法，双向GRU也是常见循环神经网络。

---

reference:
1.原论文;
2.HAN应用博文