Working Memory Networks: Augmenting Memory Networks with a Relational Reasoning Module读书笔记

发表于ACL2018

利用Memory Network(MemNN)结合Relation Network(RN)进行推理。MemNN缺乏推理能力,RN时间复杂度为O(n^2)。本文通过结合两者,把时间复杂度降到线性的同时保留了RN的推理能力。

模型:

以Text QA为例,解释模型组成。

Input Module

    对Text每个句子用GRU建模得到向量,存储到Short term Storage中。Question同样表征成向量。

Attentional Controller

    根据Query(初始是Question表征向量,后面可以是上一个hop输出)计算attention,采用了Multi-head attention,得到working memory。可以设计多个hop(H个),得到H个working memory

Reasoning Module

    把所有working memory作为输入,传入RN中,即两两作为pair和question通过NN得到表征再全部求和,最后经过NN输出最终向量,用于分类。

猜你喜欢

转载自blog.csdn.net/sjh18813050566/article/details/86658280