版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/cskywit/article/details/89848013
本文发布在NIPS2016，论文代码：https://github.com/mp2893/retain.
本文核心模型如图：
文章将事件序列建模为心力衰竭诊断的预测因子的方法表明，复杂模型可以提供更高的预测精度和更精确的解释能力。考虑到RNNs对序列数据分析的能力，文章提出了RETAIN，在保持RNN预测能力的同时允许更高程度的解释。RETAIN的核心思想是通过复杂的注意力生成过程提高预测精度，同时保持表示法学习部分易于解释，使整个算法准确、可解释。保留训练两个反向时间序列的神经网络，有效地生成适当的注意力变量。
本文较新颖的地方如下：
1.使用两套注意力机制，分别为visit-level和variable-level，其中visit-level的注意力给予对疾病预测更有帮助的患者来访更高的权重，而variable-level的注意力给予在某一次患者来访中对疾病预测更有影响的变量(诊断、药物、干预)。
2.在生成注意力值得过程中，将病程记录按照时间顺序逆序输入，因为最近的入院记录对诊断更有帮助
通过以上两点结合模拟临床医生诊断过程，实现较高的预测精度。
3.为求模型具有较高解释度，encode使用RNN，注意力值简单使用MLP，预测用的context vector生成也很简单：
预测使用softmax，损失函数使用交叉熵，实验表明文中提出的方法有很好的解释性。