A Survey on Temporal Reasoning for Temporal Information Extraction from Text (Extended Abstract)
综述（扩展摘要）：文本中时间推理的时间信息抽取
目录
摘要
时间深刻地融入了人们对世界的感知和交流方式。几乎在不知不觉中，我们向语言话语提供了时态线索，例如动词时态，而且如果没有此类线索，我们几乎不会产生句子。从文本中抽取时间线索，并构建关于所描述事件顺序的全局时间视图是自动自然语言理解的主要挑战。时间推理是将不同的时间线索组合成一致的时间视图的过程，在时间信息抽取中起着核心作用。本文提供了对过去几十年中从文本中自动抽取时间信息的时间推理研究的全面综述，并提供了将符号推理与基于机器学习的信息抽取系统集成的案例研究。
1 引言
人类语言充满了关于我们交流事件发生时间的线索。时间信息抽取（TIE）是自动从文本中抽取时间线索的过程，目的是从事件中构造（可能未指定）事件的时间轴。
TIE不仅在自然语言理解（NLU）的一般问题中起主要作用，而且还用于许多应用程序中：信息检索[Campos et al., 2015]、问答[Meng et al., 2017]和多文档摘要[Ng et al., 2014]，在临床领域具有很大的潜力，可用于患者时间表可视化[Jung et al., 2011]、预测治疗效果[Zhou and Hripcsak，2007]以及患者选择临床试验[Raghavan et al., 2014]。由于时间结构很强，而且我们可以用语言表达的时间线索类型也有很大差异，因此TIE面临的主要挑战是如何将所有这些单独的线索组合成所描述事件的单个连贯时间顺序。为此，时间推理至关重要。我们在TIE中将时间推理（TR）定义为组合不同（注释或抽取）的时间线索以导出有关文本的其他时间信息的过程。TR对于TIE至关重要，并且已经在TIE模型构建的所有阶段（注释、预处理、模型训练、推理和评估）在研究社区中得到了广泛的利用。
为了涵盖TIE的TR方法的发展以及自然语言处理（NLP）使用机器学习（ML）方法的普及，本次调查的重点在于过去三十年来对TIE系统的TR的研究。我们从TIE系统成功的语言特性中进行抽象，[Derczynski，2017]对此进行了深入讨论，可以认为是对调查重点的补充。本扩展摘要旨在从原始文章中获取最重要的元素和结论[Leeuwenberg and Moens，2019]。
在过去几年中有趣且重要的新发展的背景下，本文提供了以下贡献：
•介绍了各种类型的语言时态信息，并作了简要说明，介绍了最新状态所需的TIE的TR背景最先进的TIE模型。
•概述了过去几十年在TIE模型中利用TR的各种方式。
•总结最重要的结论，以成功地将TR纳入TIE系统，并为未来的工作提供一些有希望的方向。
2 语言的时间线索
研究可以用语言表达的时间信息的类型非常重要，因为TR系统需要组合不同的线索才能构建文本的完整时间概览。时间轴上事件的最常见解释是间隔（某些表达式可能表示事件/间隔的集合，或者非常短的几乎立即发生的事件）。间隔的跨度对应于事件发生的时间。在本节中，我们将以简短的示例性方式概述语言中不同的时间线索，以显示该线索可以提供哪些类型的时间信息，即这些线索可以以何种方式限制事件间隔在时间轴上的位置。
时间线索可以指事件间隔的各个组成部分：整个间隔，也可以只是其开始、结束或持续时间。例如，在图1中，给出了抗生素的给药时间（10天），开始给药的时间也是如此（6月2日的某个时候）。但是，为了改善呼吸状况，仅明确提及结束时间（抗生素使用的最后2天）。
Ex. 1 Antibiotics were started on 6/2 and continued for 10 days.Respiratory status improved up til the last 2 days.
为每种成分提供的信息类型也可以不同：它可以是绝对的（例如，在示例1中，抗生素持续时间为10天），也可以是相对于其他间隔的（例如，在示例2中，抗生素的起始时间，第三组在前两个之后）。此外，该信息可以是明确的，具有明确的可解释的时间安排（例如，在示例2中为28分钟的持续时间），也可以是不确定的，使用模糊的量化（在示例2中为前两组的持续时间，每组几乎都是小时）。
Ex. 2 After the grueling duels of the first two sets, which each had taken nearly an hour, Nadal won the third set in 28 minutes.
即使有了所有这些明确的线索，也可能需要有关事件的典型顺序、事件的持续时间，甚至事件之间的典型时间的世界知识，才能正确解释要传达的时间含义（例如，尽管没有明确提及，第三组与前两组在同一天发生）。最后，通常不会充分指定通过语言提供的时间信息（例如，根据示例文字，我们不知道在哪一年发生了任何事件）。一个好的TR系统应该能够灵活地融合所有这些不同类型的信息以及可能的不确定性，从而达到作者所要传达的时间表。
3 区间和点推理
TIE中最流行的TR框架是Allen’s区间代数（AIA）[Allen，1983]。 AIA基于一组十三个互斥的基本间隔关系（如图1所示），这些关系可以分配给任意一对确定间隔（已知起点和终点的相对位置）。如果对于两个间隔x和y，关于它们的起点和终点的相对位置的信息不完整（即，它们的关系是不确定的，如图2所示），则根据提供的信息，可以分配一个通用的Allen关系，表示为所有可能的基本关系的分离。完整的AIA涵盖所有13个基本关系的幂集，包括213 = 8192个关系。
为了从不同事件之间的通用Allen关系图推断出新关系，使用了一个组成表，其中包含所有基本关系的传递规则，即，它针对任意一对关联关系r1（x，y）和r2（y，z），可以推断出什么关系r3（x，z）。对于完整的AIA，计算所有可推断的关系（采用传递闭包）就像检查一致性一样，都是NP完全的[Vilain et al., 1990]，使得完整的AIA对于TIE系统不切实际。许多使用TR的TIE系统限于使用基本关系（即确定关系）。尽管很少在TIE系统中使用，但存在许多AIA的易处理亚片段[Krokhin et al., 2003]。其中一些集中于整合定量推理[Meiri，1996]或不确定性[Schockaert and De Cock，2008]。建立许多有效的TR算法的主要见解是，基本的Allen关系可以表示为point-algebraic关系（<，=，>）的集合，如图1所示。Point algebra（PA）可以将每个基本Allen关系表示为区间起点和终点之间的点状关系的合集。例如，x {等于} y可以由合集{x- = y-，x + = y +}表示，即，如果间隔x和y相等, 则它们的起点和终点也相等（反之亦然）。它们还允许表达许多不确定的关系（例如，图2中的关系为{ x- < y-，x + >y -}）。 PA中的推理所需的传递性表要小得多，这有助于提高效率，这对实际TR系统很重要。
4 注释方案
文本中的时间注释方案可控制TIE系统可以抽取的时间线索的类型，从而控制TR的利用方式。
最受欢迎的方案是TimeML [Pustejovsky et al., 2003]，它是许多语料库的基础，而TempEval是一系列有关TIE评估的共享任务，导致了许多现有的TIE系统[V erhagen et al., 2007]。 TimeML的核心概念是事件表达式和时间表达式（timex）。事件表达式是指现实世界中的事件，timex是指日历日期、时间和确定的持续时间等。在TimeML中，事件和timex表达式通过间隔关系（称为时间链接（TLinks））在时间上相连，这些间隔关系大致遵循Allen的基本间隔关系，因此着眼于确定的信息。为了超越对TimeML中显式和确定信息的关注，已经提出了许多有趣的建议：包括模糊关系来注释不确定关系[Cassidy et al., 2014]，注释事件的起点和终点之间的逐点关系，而不是基本的区间关系。 [Ning et al., 2018]，注释所有事件的持续时间（不仅像TimeML中那样具有明确的持续时间timex的事件）[Pan et al., 2006]，并在绝对日历上注释事件的时间位置而不是通过间隔关系[Reimers et al., 2016]，因为成对时间关系注释对于注释者而言是一项艰巨的任务[Derczynski，2016]。这些提议为进一步开发TR提供了新的机会。
5 当前方法调查
本节描述了如何在模型开发的整个步骤中将TR纳入现有的TIE系统中：注释、数据预处理、训练和预测以及评估。由于TR在此任务中扮演着重要角色，因此该摘要仅专注于事件和timex之间的时间关系抽取任务，并且性能指标通常低于事件和timex抽取。
5.1 注释&数据预处理
时间注释中的一个广为人知的问题是，注释者经常错过文本中的时间线索，尤其是在注释事件对之间的TLink时，注释存在太多可能的关系。 [Verhagen，2005]指出，并非所有事件对都具有同等有用的注释功能，因为可以从早期注释中使用TR推断某些事件对。在注释期间利用TR的另一个动机是注释者有时会对时间不一致的图进行注释，这会阻碍TIE系统的训练。
经常进行的基于TR的预处理步骤是计算带注释关系的传递闭包，以获得更密集的图。对于在预测期间不使用TR的模型，时间封闭对性能的影响是矛盾的。它可能会提高性能[Mani et al., 2006]，或降低性能[Tatu和Srikanth，2008]。但是，当使用在预测过程中也使用TR的模型时，通过时间闭合进行数据扩展可能会是有益的[Chambers and Jurafsky，2008]。
5.2 训练与预测
为了增强时间关系抽取模型，可以在训练和预测期间集成TR。 TR在训练和预测中的集成可以通过多种方式来改善TIE模型：（1）确保预测关系之间的时间一致性，以及（2）约束输出空间并提高预测精度。
贪婪推断。已经提出了两种贪婪方法来构造时间关系图：以一定顺序将关系逐一添加、每次添加后检查时间一致性。该顺序可以是自然阅读顺序，也可以遵循本地分类器的得分（最佳顺序）。两种方法均在没有TR的情况下改善了结果，最后一种优于第一种[Bramsen et al.，2006]。
事后冲突解决。另一种方法是首先通过局部模型预测完整图形，然后通过基于置信度去除冲突边来检测并解决不一致问题[Verhagen and Pustejovsky，2008; Tatu and Srikanth，2008]。大多数作品都报告了这种方法的积极影响，但是在去除边缘方面却有所不同。将它们更详细地进行比较可能很有趣。
筛选级和堆叠推理。基于筛选的方法[Chambers et al.，2014]在结合基于规则和机器学习组件方面非常灵活。这种方法通过单独的模型组件（或筛选）在连续的阶段中抽取TLink。每个筛选都使用原始输入文本以及早期筛选的输出来抽取TLink。TR的应用是在应用每个筛选后采取传递性封闭措施。这样可以防止以后的筛选分配与以前的筛选抽取的TLink不一致的TLink。 [McDowell et al.，2017]和[Mirza and Tonelli，2016]也采用了类似的方法，他们报告说由于筛选分级TR导致召回率（和F1）增加。
使学习者彼此堆叠以纠正早期阶段的错误的方法非常相似[Laokulrat et al.，2015]，甚至可以跨堆叠进行联合训练[Meng and Rumshisky，2018]。
马尔可夫逻辑网络。基于TR的预测的另一种重要方法是马尔可夫逻辑网络（MLN），最早由TIE探索的是[Yoshikawa et al.，2009]。 MLN和前面提到的方法之间的主要区别在于，MLN并没有在全局推理环境中组合本地训练的模型，而是在训练中纳入了时间约束。TR约束的权重允许模型学习TLins之间的软关联。用MLN建模不同的传递规则，[Y oshikawa et al., 2009]表明，在训练和预测过程中结合TR优于局部模型。
整数线性规划。在MLN使用软约束的情况下，整数线性规划（ILP）是一种用于约束优化的方法，它使用硬约束从搜索空间中截去大面积区域，从而可以加快推理速度[Mojica and Ng，2016]。基于TR的预测的ILP首先由[Bramsen et al.，2006]提出，目的是在基于TR的约束条件下最大化成对分类器得分的总和。 ILP已被TIE广泛成功地采用。与许多人相反，[Denis and Muller，2011]在PA中制定了他们的ILP目标，以提高TR的效率。最近的方法不仅在预测过程中使用ILP，而且在训练过程中也使用了ILP和结构化的感知器[Leeuwenberg and Moens，2017; Ning et al., 2017]。
直接时间轴模型。最近，提出了一种新的时间事件排序方法[Leeuwenberg and Moens，2018]。他们的模型不是预测事件和时间表达之间的TLinks，而是预测事件的起点和终点，以便其顺序满足带注释的TLink。与预测二次或需要修剪的TLinks图相反，此方法的预测时间与事件数量成线性关系。为了训练他们的模型，他们利用TR将TLinks转换为PA约束集。
5.3 评估
TIE评估中的一个问题是，同一时间线可以由不同的关系集表示：如果系统预测BEFORE（x，y），则如果基础事实为AFTER（y，x），则不应受到惩罚。为此，已经提出了对预测和地面真值图进行时间封闭的方法，并结合了权衡原始关系和推断关系的不同方法[Setzer et al., 2003; Tannier and Muller, 2011;UzZaman and Allen, 2011]，其中时间意识指标[UzZaman and Allen，2011]是使用最广泛的评估指标。
6 结论与未来工作
在此摘要中，我们简要演示了语言中的各种时态信息，简要介绍了TIE中TR最常用的框架，并回顾了利用TR构建TIE模型的不同方法，并提炼了得到最广泛证实的结论。
最后，很明显，TR对于TIE至关重要，并且已广泛用于模型构建的所有方面：注释、数据预处理、训练、预测和评估。但是，当前对TIE的大多数研究仍致力于解决完整TIE问题的子片段，重点是抽取特定类型的时间线索，而不是共同抽取所有线索以使它们相互补充。因此，如何进行涉及所有类型时间线索的高效表达TR仍然是一个开放的研究问题。我们相信要回答这个问题，就需要一个灵活、富有表现力和高效的推理框架。为此，我们认为研究的重要方向是基于点的推理方法，在效率和表现力以及**（深度）机器学习方法之间取得良好的平衡，以促进模型构建、多任务学习和表示共享的灵活性**。