https://www.toutiao.com/a6673418191592489479/
具有缺失值的多元时间序列的递归神经网络
题目：
具有缺失值的多元时间序列的递归神经网络
作者：
Ben D. Fulcher
来源：
Machine Learning (cs.LG)
Submitted on 6 Jun 2016
文档链接：
arXiv:1606.01865
代码链接：
https://github.com/Han-JD/GRU-D
摘要
实际应用中的多变量时间序列数据，例如医疗保健，地球科学和生物学，其特征在于各种缺失值。在时间序列预测和其他相关任务中，已经注意到缺失值及其缺失模式通常与目标标签相关联，即信息缺失。利用缺失模式进行有效插补和提高预测性能的工作非常有限。在本文中，我们开发了新的深度学习模型，即GRU-D，作为早期尝试之一。GRU-D基于门控递归单元（GRU），这是一种先进的递归神经网络。它需要两种缺失模式的表示，即掩蔽和时间间隔，并有效地将它们整合到深度模型体系结构中，这样它不仅可以捕获时间序列中的长期时间依赖性，还可以利用缺失的模式来获得更好的预测结果。在真实世界临床数据集（MIMIC-III，PhysioNet）和合成数据集上进行时间序列分类任务的实验表明，我们的模型实现了最先进的性能，并提供了有用的见解，以便更好地理解和利用时间序列中的缺失值分析。
要点
本文提出了一种新的基于GRU的深度学习模型grud，有效地利用了信息缺失模式的两种表示形式:，掩蔽和时间间隔。掩蔽通知模型哪些输入被观察(或丢失)，而时间间隔封装了输入观察模式。我们的模型通过对GRU的输入和网络状态应用掩蔽和时间间隔(使用衰减项)来捕获观测值及其依赖关系，并使用反向传播联合训练所有模型组件。因此，我们的模型不仅捕获了时间序列观测的长期时间依赖性，而且利用缺失的模式来改进预测结果。在真实的临床数据集和合成数据集上的经验实验表明，我们提出的模型优于基于GRU的强深度学习模型和其他强基线。这些实验表明，我们提出的方法适用于许多数据缺失的时间序列分类问题，尤其适用于新兴卫生保健应用中的预测任务。此外。我们的方法提供了有益的见解更一般的研究时间序列分析的挑战与缺失的数据超出分类任务,包括1)一般深度学习框架来处理缺失数据的时间序列,2)有效解决方案描述的缺失模式不是missing-completely-at-random等时间序列数据建模掩蔽和时间间隔,3)通过衰减分析，深入研究变量缺失对预测标签的影响。
图1:MIMIC-III数据集上信息缺失的演示。左图为变量缺失率(x轴，缺失率;轴、输入变量)。图中/右侧分别为缺失率与死亡率/ICD-9诊断类别(x轴，靶标;轴,输入变量;颜色,相关值)。详情请参阅附录A.1。
图2:原始GRU(左)和提议的grud(右)模型的图形说明。
图3:手势合成数据集的分类性能。x轴:该数据集中变量缺失率与目标标签的Pearson平均相关;轴:AUC得分。
表1:模型性能平均测量
真实数据集多任务预测的AUC评分(平均值±std)。每个类的结果如下所示
表2:AUC评分(均数±std)用于死亡率预测的模型性能。
英文原文
Multivariate time series data in practical applications, such as health care, geoscience, and biology, are characterized by a variety of missing values. In time series prediction and other related tasks, it has been noted that missing values and their missing patterns are often correlated with the target labels, a.k.a., informative missingness. There is very limited work on exploiting the missing patterns for effective imputation and improving prediction performance. In this paper, we develop novel deep learning models, namely GRU-D, as one of the early attempts. GRU-D is based on Gated Recurrent Unit (GRU), a state-of-the-art recurrent neural network. It takes two representations of missing patterns, i.e., masking and time interval, and effectively incorporates them into a deep model architecture so that it not only captures the long-term temporal dependencies in time series, but also utilizes the missing patterns to achieve better prediction results. Experiments of time series classification tasks on real-world clinical datasets (MIMIC-III, PhysioNet) and synthetic datasets demonstrate that our models achieve state-of-the-art performance and provides useful insights for better understanding and utilization of missing values in time series analysis.