目录
1、可解释的知识图谱推理概述
1.1 可解释性的定义
目前业界较为认可的可解释性定义为“可解释性是一种以人类认识、理解的方式给人类提供解释的能力”。虽然人工智能技术不断取得突破性进展，高性能的复杂算法、模型及系统却普遍无法向人类用户解释它们的自主决策和行为，缺乏决策逻辑的可解释性。如图 1 所示，很多机器学习方法 在模型性能和可解释性之间存在不平衡现象，往往模型越复杂越难以解释，这对模型后期的应用和优化产生很大的影响，因此人们大多基于经验来调整模型参数以达到优化模型的目的，然后通过观察结果来判定操作的正确与否，充满盲目性与随机性，忽略了模型可解释性的重要性。
可解释性对于用户有效地理解、信任和管理人工智能应用至关重要，它与深度神经网络中“黑匣子”的概念形成鲜明对比。不可解释的模型在实践中经常出现难以预测正确结果的情况，这在低风险的环境中，不会造成严重后果（如视频推荐系统），而对于可靠性要求较高的系统则很危险（如医疗、法律和信息安全领域），模型必须解释如何获得相关预测。可解释人工智能（XAI，explainable artificial intelligence）则提供了一种信任的基础，在此基础上，人工智能才能在更大范围发挥作用，有助于识别潜在的错误，进而改进模型，提高信息服务质量，满足道德和法律的规范要求，为用户提供更智能的服务。
1.2 知识图谱及相关推理任务
知识图谱是人工智能的核心技术之一，作为一种新型的知识表示方法，知识图谱中包含大量的先验知识，并以结构化三元组的形式组织海量信息， 通过实体和关系的形式将不同的数据源进行关联和深度融合。目前，大量的知识图谱，如 Yago、 Dbpedia和 Freebase已经开发，相关技术已被广 泛应用在智能问答、推荐系统和信息安全等任务中，其突出表现在学术界与工业界均获得了广泛关注。网络空间知识图谱示例如图 2 所示。
知识推理则是从已知的知识出发，经过推理挖掘，从中获取所蕴含的新事实，或者对大量已有知识进行归纳，从个体知识推广到一般性知识的过程。早期的推理研究大多在逻辑描述与知识工程领域，很多学者提倡用形式化的方法来描述客观世界，认为一切推理是基于已有的逻辑知识，如一阶逻辑和谓词逻辑，如何从已知的命题和谓词中得出正确的结论一直是研究的重点。近些年，随着互联网数据规模的爆炸式增长，传统的基于人工建立知识库的方法不能适应大数据时代对大量知识的挖掘需求。数据驱动的推理方法逐渐成为知识推理研究的主流。面向知识图谱的知识推理即在知识图谱的图结构上，结合概念、属性和关系等知识，通过相关推理技术，进行知识推理的过程。知识图谱中所包含的概念、属性和关系天然可用于解释， 且更符合人类对于解释的认知，方便为真实世界的推理和解释场景进行直观建模，因此当前基于知识图谱的知识推理方法成为知识推理领域的典型代表。下文中的“知识推理”如未加特别说明， 特指“面向知识图谱的知识推理”。
知识图谱推理任务主要包括知识图谱补全和知识图谱去噪。前者是通过推断出新的事实，扩充知识图谱，包括实体预测、关系预测、属性预测等任务。其中最为核心的任务是实体预测和关系预测，实体预测是指利用给定的头实体和关系 （或者关系和尾实体）找出有效三元组的尾实体 （头实体）；关系预测是指通过给定头实体和尾实体，推理出两者间的关系。后者关注图谱中已知的知识，对于已经构建的图谱中三元组的正误进行评判，但从本质上来讲，两者其实是在评估三元组的有效性。除此之外，知识推理在下游的信息检索、智能问答和推荐系统中也发挥着重要的作用，在智慧医疗、网络与信息安全等领域显现出良好的应用场景。
1.3 基于知识图谱的可解释知识推理
知识推理的可解释性或者可解释的知识推理， 是人工智能可解释性的子问题。与研究深度学习算法的可解释性不同，可解释知识推理的目的是从已知的知识出发，经过可解释的推理方法，最终获 取知识库中蕴含的新知识。目前基于知识图谱的可解释知识推理是该领域前沿的研究方向之一，其在可解释知识推理上有诸多优势，具体如下。首先，知识图谱在表示模式上具有可解释优势。知识表示是为描述世界所做的一组约定，是知识的符号化、形式化或模型化的过程。常见的知识表示方法包括谓词逻辑表示法、产生式表示法和分布式知识表示法等，作为一种新型的知识表示方法，相对于这些传统的知识表示方法，如产生式表示法，知识图谱具有语义丰富、结构友好、知识组织结构易于理解的优点。
其次，基于知识图谱的推理在推理过程中具有可解释的优势。人类认识世界、理解事物的过程，大多是在利用概念、属性、关系进行理解和认知，如对于问题“为什么鸟儿会飞？”，人类的解释可能是“鸟儿有翅膀”，这实质上使用了属性来解释。知识图谱中富含实体、概念、属性、关系等信息，通过图结构形式化组织这些海量的知识，为真实世界的各个推理场景直观建模，可以对最终的决策进行更多元的具体解释。
最后，知识图谱在存储和使用上具有可解释的优势，相比其他的存储形式，知识图谱以三元组的形式对知识进行构建以及存储，更加接近人类通常认识事物“主谓宾”的认知和学习习惯， 对于人类理解会更加友好，对人们的可解释性相比其他知识表示方法较强。
1.4 知识推理任务的评价指标
1.4.1 知识推理可解释性的评价指标
本文采用的知识推理的可解释性评价指标如下。
（1）可解释的范围
根据模型产生的可解释性范围，可解释性分为局部可解释和全局可解释，即解释是面向某个或某类实例还是面向整个模型行为。
（2）可解释的产生方式
根据模型解释产生的方法，推理模型可以分为事前可解释和事后可解释。其中，事前可解释主要指不需要额外辅助的解释方法，解释本身就在自身的模型架构中，而事后可解释指解释本身不在模型架构中，而是在模型训练后，以人类可理解的规则或可视化等方式，对模型做出决策的逻辑过程进行后验的解释。
（3）可解释的泛化性根据解释方法是否特定于模型，可以划分为特定于模型和与模型无关两种解释类别。
（4）可解释在下游场景的适用性根据下游实际业务需求对于知识推理方法的可解释性的要求，可以将推理方法分为适用于可靠性优先领域（如医疗、网络与信息安全领域）和适用于效率优先领域（如电影推荐系统）。本文在接下来综述方法时，每类方法根据以上 4 种评价指标对模型的可解释性进行对比分析。
1.4.2 知识推理准确性的评价指标
本文采用的知识推理的准确性评价指标包括平均倒数排名（MRR，mean reciprocal rank）和前 k 次命中正确预测结果的比例（Hit@k）。
2、可解释的知识图谱推理方法
推动人工智能发展的 3 种主要研究范式（符号主义、行为主义和连接主义），对知识图谱推理方法都有着很大的影响，但三者在研究方法和技术路线等方面有着不同的观点，导致不同研究范式影响下的知识推理方法在可解释性与效率上存在不同的侧重，所适用的应用场景有所差异。如图 3 所示，本文从这 3 种研究范式角度出发，结合目前新型混合的知识图谱推理技术，分别综述这些分类中最新的可解释知识图谱推理方法研究进展。
2.1 符号主义中的可解释知识图谱推理方法
从符号主义角度，知识推理可以建模为依据符号表征的一系列明确推论，通过显式的定义推理所需要的本体概念、规则等离散符号，进行逻辑推理的过程。其核心是从实例中推导出一般的本体演绎关系或逻辑规则，通过符号体系进行推理，同时，这些符号体系为推理结果提供显式的解释。根据知识图谱本体概念层和实体实例层的划分，符号推理方法可以分为基于本体的知识推理和基于逻辑规则的知识推理，接下来分别介绍其中有代表性的可解释知识推理方法。
2.2 行为主义中的可解释知识图谱推理方法
从行为主义角度，知识图谱推理可以建模为在图结构上通过多步游走，同时对每一步进行预见和控制，通过序列决策逐步找到推理答案的过程，其核心是实现知识图谱图结构上的多跳推理。该类方法在得到推理结果的同时，显式地推导出具体的路径推导过程，因此可解释性较强。该研究领域有两个主要方向，分别是基于随机游走和基于强化学习的知识图谱推理方法。基于随机游走的知识图谱推理方法在图结构上利用随机游走策略，结合合适的图搜索算法获取多条路径，利用这些路径的特征预测实体间是否存在潜在的关系；基于强化学习的知识图谱推理方法则通过智能体与环境不断进行交互，以反馈和交互的方式训练智能体，在动作选择和状态更新的动态过程中逐渐优化目标，进而实现知识推理。
2.3 连接主义中的可解释知识图谱推理方法
从连接主义角度，知识图谱中的实体和关系可以通过表示学习方法嵌入低维向量空间，进行数值化的运算操作，进而实现知识推理。其核心是找到一种映射函数，将符号表示映射到向量空间进行数值表示，从而减少维数灾难，同时捕捉实体和关系之间的隐式关联，实现符号表示向量化的直接计算。在语义的层面，很多浅层的表示模型在提升效率的同时，考虑建模不同的关系模式（如对称 关系、逆反关系和组合关系）、逻辑操作（如与、 或、非操作）和实体间的上下位层次关系，使模型具有推理部分语义结构的能力，因此，连接主 义中的部分推理模型具有一定的可解释性。该类方法大体可以分为 3 种，分别是基于平移距离的模型、基于张量分解的模型和基于神经网络的模 型，本文重点对方法的可解释性进行对比分析。
2.4 新型混合的可解释知识图谱推理方法
主流的挖掘隐式特征的嵌入学习模型 （TransE、RotatE等），提升了模型的推理效 率，但极大地影响了模型的可解释性。基于图遍历搜索的显式逻辑规则挖掘方法（AMIE+、 RDF2Rule等）在提升推理过程可解释性的同时，效率方面有明显的欠缺。因此，通过结合两者的优势，利用符号推理在可解释性和准确性的优势以及神经网络方法在鲁棒性与效率上的优势，进行混合推理，可以一定程度解决传统规则方法的计算复杂度高等难题，同时提升神经网络方法的可解释性。根据推理的不同侧重点，可以将新型的混合推理方法分为符号规则增强神经网络的知识推理和神经网络增强符号规则的知识推理。
3、总结
随着人工智能技术的广泛应用，人工智能的 可解释性受到越来越多的关注。在目前流行的深度学习模型中，复杂的处理机制与大量的参数使人类很难追溯与理解其推理过程，导致这种端到端的黑箱学习方法可解释性较差。知识图谱作为知识的一种语义化和结构化的表达方式，以人类可理解的表达形式进行知识推理，通过推理路径、 逻辑规则等辅助手段，结合节点周围的实体信息， 进行显式的可解释知识图谱推理，为实现可解释人工智能提供了一种解决方案，在信息检索、信息安全、网络空间安全等领域都有广泛的应用前景，引发了广泛的关注。
3.1 可解释的知识图谱推理方法总结
本文概述了可解释人工智能及知识推理的相关概念，从经典的人工智能三大研究范式的角度出发，总结和分析了可解释的知识推理方法。无论是以符号主义中的本体推理和规则推理方法为代表的具有全局模型可解释性的模型，还是通过将推理过程显式地进行学习（具体表现为证明、 关系路径和逻辑规则等方式），从而为推理预测提供可解释性依据的具有事后过程可解释性的模型，都一定程度增强了人们对推理结果的理解， 同时实现对错误预测原因的辅助挖掘。如表 7 所示，本文对所介绍的知识图谱推理方法及特点进行相关的总结与对比分析。这些推理方法根据推理目的不同，在推理准确性和可解释性方面各有侧重，所适用的推理应用场景也因此不同。符号主义中的知识推理模型有着很好的可解释性，推理准确、迁移性好。然而，离散的符号表示方法通常不足以描述数据之间所有内在 关系，造成规则学习的搜索空间太大、效率较低， 且对数据中出现的噪声鲁棒性较差（如 AMIE+、RDF2Rule），因此这种推理方法适用于数据库知识结构规整，要求推理精度及可解释程度较高的推理场景，如医疗和信息安全等要求可靠性优先的领域。在行为主义中的知识推理模型中，以强化学习为代表，通过反馈和交互训练智能体，鼓励获得更大的奖励，实现了较高的 推理效率，同时得到具体的推理路径，可解释性虽然相较于逻辑规则有所降低，但得到了具体的 推理步骤，具有过程的可解释性（如 DeepPath、 MINERVA），因此这种推理方法更适用针对序 列决策问题的多跳知识推理场景，如网络安全领域的攻击路径推理图谱，推理效率和可解释性均 有较大的优势。在连接主义中的知识推理模型中， 通过数值化运算实现的模糊推理，加快了推理的速度，增强了模型的鲁棒性和推理效率，但不能为预测结果提供显式的推理过程说明，对模型的 可解释性造成了很大影响（如 TransE、 RotatE），凭借其效率和鲁棒性的优势，这种推理方法适用在低风险但效率要求较高的效率优先领域，如电影推荐系统与问答系统等。在新型混合的推理模型中，结合符号推理在可解释性上的优势和神经网络推理在鲁棒性与效率上的优势进行的新型混合推理，无论是利用逻辑规则生成更多实例，辅助高质量嵌入学习，还是通过神经网络模型辅助解决数据的歧义和不确定性，帮助归纳出更多的显式逻辑规则，推理的可解释性和效率都得到了提升（如 IterE、RNNLogic）， 这种推理方法则更加需要结合系统及应用需求， 根据目标任务要求的效率或可解释性等指标的不同，动态调整对应神经网络推理方法和符号推理 方法的侧重点，有针对性地进行推理。
3.2 有待进一步解决的问题和挑战
虽然目前可解释的知识图谱推理方法在不同的研究范式下都取得了一定进展，但该领域仍处于发展时期，各类方法在推理的准确性和推理过程的可解释性上很难达到平衡，需要在理论和实际应用中进一步完善，在未来的研究中，可解释的知识推理还面临很多新的挑战，主要有以下 4 个 方面值得探索。
1) 结合常识知识的可解释推理。常识推理即利用人类对世界和行为基本理解的常识认知进行推理。结合目前人类在深度学习方面的进展，表征并融入常识知识于推理模型，从而创造更加贴近人类思维习惯的模型，将从本质上增加模型行为的透明度，帮助人们获得更具可解释性的结果。
2) 考虑复杂推理模式的可解释知识推理。在知识逻辑推理中，推理的规则主要遵循传递性约束，即链状的推理，表达能力有限。但是现实生活中所要面临的要素更加复杂，需要支持更复杂推理模式，自适应地挖掘更多样、有效的推理结构， 如实现对树状或网状等结构的逻辑规则推理， 同时保证挖掘规则的可靠性和可解释性，辅助更多样的决策。
3) 多模态的可解释知识推理。解释方法大多通过推理文本中的逻辑规则或路径从而实现可解释性，但随着移动通信技术的快速发展，如何有 效地利用语音、图片等多模态信息进行解释成为 一个具有挑战性的问题。多模态信息显示出其对知识图谱进行可解释推理的潜力，可以通过图像、声音等多种模态对于推理的过程与结果进行语义增强的解释。
4) 可解释性的量化度量指标。对于可解释性的优劣并不存在非常成熟的、广为接受的量化标准。大多数已有的方法是主观度量，因而只能定性分析，无法对可解释模型的性能进行量化。这就造成用户无法非常准确地判断解释方法的优劣，所以需要进一步研究科学合理的可解释的评测指标，对解释方法进行量化评价，模型得到反馈并进行相关优化，从而更好地指导系统的决策。