关于QA的一些idea

1.《Dynamic Coattention Networks For Question Answering》提到一种对问题可能的解释方案是将其映射到文档空间。one possible interpretation for this is the mapping of question encoding into space of document encodings.这篇论文采用LSTM分别对QD建模，然后求其Affinity matrix，再在矩阵上分别采用行／列的softmax求的attention-Q（AQ）和attention-D（AD），再Q*AD，C=D*AQ，D*AQ*AD表示将问句和上下文的编码从问句空间转换为了上下文空间。CD=[Q;D*AQ]*AD。然后计算BLSTM=d,CD，将时间信息融合到共焦背景信息。
2.问题和上下文角度。对于问题来说，上下文中单词的重要程度不同；对于上下文来说，问题中每个单词的重要程度也不相同。利用问题中每个单词相对于上下文的重要程度，对上下文中每个单词相对于问题中每个单词的重要程度加权求和，得到上下文中每个单词相对于问题整体的重要程度，即注意力权重向量。
3.《Attention-over-Attention Neural Networks for Reading Comprehension》第一次在二维方向上进行匹配，不同于传统的将问题当作整体考虑，改模型考虑了问题与上下文的注意力模型、以及上下文和问题的注意力模型，大大提高了在CNN／CBT（children’s book test）。类似的有《Bi-Directional Attention Flow For Machine Comprehension》
最新的链接：https://github.com/ymcui/Eval-on-nn-of-RC。有一些training tips
Pre-slides: http://ymcui.github.io/pdf/AoA_Reader_ACL2017_pre-report.pdf
Pre-poster(Chinese):http://ymcui.github.io/pdf/AoA_Reader_ACL2017_pre-poster.pdf
4.DMN(Dynamic Memory Network) 类似于N2N memory network. episodic = hop. memory = RNN
5.