摘要
在本文中，我们介绍了R-NET，这是一种用于阅读理解类型问答的端到端神经网络模型，旨在回答给定段落中的问题。我们首先将问题和段落与基于门控注意力的循环网络进行匹配，以获取基于问题的段落表示。然后，我们提出了一种自匹配的注意力机制，通过将段落与自身进行匹配来完善表示，从而有效地编码来自整个段落的信息。最后，我们使用指针网络来定位段落答案的位置。我们对SQuAD和MS-MARCO数据集进行了广泛的实验，我们的模型在所有已发布的结果中在两个数据集上均取得了最佳结果。
1.介绍
在本文中，我们专注于阅读理解类型的问答，旨在回答给定段落或文档的问题。我们主要关注斯坦福问答数据集（SQuAD）和Microsoft机器阅读理解（MS-MARCO）数据集，这两个用于阅读理解和问答的大型数据集都是通过众包手动创建的。SQuAD要求回答给定段落的问题。它将答案限制在参考段落中所有可能跨度的空间上，这与完形填空类型的阅读理解数据集不同，后者的答案是单个单词或实体。此外，SQuAD需要不同形式的逻辑推理来推断答案。另一个真实的数据集MS-MARCO提供了从必应索引中收集的一些相关文档。MS-MARCO中问题的答案是人为产生的，并且答案词不仅来自给定的文本。
自SQuAD数据集发布以来，取得了长足的进步。Wang＆Jiang(2016b)使用match-LSTM构建了具有基于问题的段落表示，并使用指针网络预测了段落中的答案边界。Seo et al. (2016)引入了双向注意力流网络，以在多个粒度级别上对问题段落进行建模。Xiong et al. (2016)提出了动态的共同注意力网络，该网络同时参与问题和段落并迭代地完善答案预测。 Lee et al. (2016) and Yu et al.(2016)通过对段落中连续的文本跨度进行排名来预测答案。
受Wang＆Jiang(2016b)的启发，我们引入了R-NET，如图1所示，这是一种用于阅读理解和问答的端到端神经网络模型。我们的模型由四个部分组成：
1）循环网络编码器分别构建问题和段落的表示形式；
2）门控匹配层以匹配问题和段落；
3）自匹配层从整个段落中汇总信息；
4）基于指针网络的答案边界预测层。
这项工作的主要贡献在以下三个方面。
首先，我们提出了一个基于门控的基于注意力的循环网络，它为基于注意力的循环网络增加了一个额外的门，段落中的单词对于回答阅读理解和问答中的特定问题具有不同的重要性。在Wang＆Jiang(2016a)中，段落中的单词及其相应的注意力加权问题上下文被一起编码，以产生基于问题的段落表示。通过引入门控机制，我们的基于门控注意力的循环网络根据与问题的相关性，对通过部分分配了不同级别的重要性，屏蔽了不相关的通过部分并强调了重要部分。
其次，我们引入了一种自匹配机制，该机制可以有效地汇总整个段落中的证据以推断出答案。通过门控匹配层，所得基于问题的段落表示有效地编码了每个段落单词的问题信息。但是，尽管具有理论能力，但循环网络只能在实践中记住有限的段落上下文。一个答案候选者通常不知道文章其他部分的线索。为了解决这个问题，我们提出了一个自匹配层，以利用整个段落中的信息动态地完善段落表示。基于问题的段落表示，我们在针对段落本身的段落上采用了基于门控注意力的循环网络，从段落中的每个单词中收集与当前段落相关的证据。基于门控注意力的循环网络层和自匹配层通过从问题和段落中汇总的信息来动态丰富每个段落表示，从而使后续网络能够更好地预测答案。
最后，所提出的方法与baselines相比产生了最好的结果。我们的单一模型在隐藏的SQuAD测试集上达到了72.3％的精确匹配准确度，而集成模型将结果进一步提高到76.9％，目前在SQuAD排行榜上排名第一。此外，我们的模型还在MS-MARCO数据集上获得了最佳的发布结果。
2.任务描述
对于阅读理解类型的问答，给定一个段落
和问题
，我们的任务是根据
中找到的信息预测问题
的答案
。SQuAD数据集进一步将答案
约束为段落
的连续子跨度。答案
通常包括非实体，并且可以是更长的短语。这种设置要求我们理解有关问题和段落的原因并进行推理，以便推断出答案。表1显示了SQuAD数据集中的一个简单示例。对于MS-MARCO数据集，为问题
提供了来自必应索引的几个相关段落
。此外，MS-MARCO中的答案
是人为产生的，并不是段落的连续子跨度。
3.R-NET结构
与Gated Self-Matching Networks for Reading Comprehension and Question Answering文章相比，该文章在自匹配层和输出层之间引入了一个Bi-GRU。