【论文笔记001】Multi-modal Multi-relational Feature Aggregation Network for Medical Knowledge Representation Learning

在这里插入图片描述

1.简介

《Multi-modal Multi-relational Feature Aggregation Network for Medical Knowledge Representation Learning》
来源：ACM Multimedia 2020
链接：https://dblp.uni-trier.de/rec/conf/mm/ZhangFQX20.html
代码：[暂无]

2.Abstract

对于医学KG的三个重要属性:多模态、不平衡和异构，提出了一种用于医学知识表示学习的多模态多关系特征聚合网络(MMRFAN)。针对实体的多模态内容，提出一种对抗性特征学习模型，将实体的文本和图像信息映射到同一个向量空间，学习多模态公共表示。为了更好地捕获复杂的结构和丰富的语义，设计了一个采样机制，并将具有内部和相互关联注意的邻居聚集起来。

3.INTRODUCTION

医学知识图谱是由包含头部实体、尾部实体及三者之间关系的医学知识三元组组成，在医学诊断、健康问答、疾病识别等医学知识组织和智能医疗应用中发挥着重要作用。利用医疗KG的基本问题之一是如何找到医疗数据分析的有效表示。医学知识表示学习的目的是将医学知识KG的节点或三元组编码成连续的低维向量表示，从而获取医学知识图结构语义和减轻计算问题。

研究人员在医学领域探索了各种有效的图表示学习方法。基本上有两个主要的研究方向:

医学KG中的表征学习。
- Med2Vec可以学习医学编码的表示，并允许人们对经过临床专家确认的表示进行解释。
- KAME对知识图中的节点进行合理的嵌入学习，利用知识注意机制提高预测精度。
在分子图中进行表征学习，用于药物发现。
- Shi等人[38]生成分子图作为一个顺序决策过程，并确定新原子和现有原子之间的键。
- Deac等人[4]利用副作用的类型和药物的分子结构，利用共同注意机制来预测两种药物的副作用。

虽然这些方法在图表示学习中表现出了良好的性能，但它们大多集中在简单的特征上。多模态信息可以提供丰富的语义。通过医疗KG每个实体的多模式信息，可以更好地生成高质量的表征。

近年来，图神经网络在处理图嵌入任务方面显示出了巨大的潜力。其关键思想是通过边缘聚合来自本地邻居的信息。还有许多图神经网络应用于医学KG。例如：

Ma等人[26]将GCN扩展为编码多视角药物特征和边缘来度量药物相似度。
MedGCN[27]学习多种类型医疗实体的表示以及与GCN的关系，用于药物推荐。

然而，现有的图表示学习方法仍不能很好地应对以下挑战:

(1)医学实体内容具有多模态特性。一些实体可能具有图像属性，但其他实体没有。例如，在图1中，药物“阿司匹林”有描述其形状和颜色的图像，但其他实体，如“部门”，是抽象的，没有合适的图像。因此，当一些特征缺失时，如何设计一种特征变换算法同时适用于图像和文本形态。
(2)医用KG结构具有不平衡性。例如，在中国症候数据集[35]中，罕见疾病可能没有足够的信息，与其他实体的关系很少。因此，这类实体可能比拥有富邻居的实体获得更少的信息。
(3)图结构具有异构性。异构性是异构图的固有属性，因为异构图中存在各种类型的节点和边。然而，现有的异构图神经网络大多侧重于处理不同类型的节点，而忽略了知识图中实体之间的复杂关系。与一般的图结构相比，KGs中存在更多不同类型的关系，具有不同关系的邻域对实体嵌入的贡献也不同。在图1中，“头痛”有多个关系，包括“Disease_Related_Disease”和“Disease_Related_Examination”。

在这里插入图片描述

基于以上讨论，医学知识图表示学习需要考虑这三个属性。本文提出了一种多模态多关系特征聚合网络(MMRFAN)，在统一的框架下学习多模态实体表示和异构知识图结构。该框架考虑了实体和邻居的多模态内容，可以共同探索多模态和异构特性。包括三个关键部分:

(1)为了利用实体的多模态内容，使用对抗特征学习来映射实体的文本和视觉信息进入同一个向量空间，学习多模态的共同表示。一方面，将文本特征和视觉特征输入到完全连接的层(生成器)中，生成共同表示，通过减少两两差异来训练模型。另一方面，模态鉴别器减少了异质性差距模态，增强了共同表征的一致性。
(2)为了缓解不平衡特性，我们设计了一种抽样机制，对每个相关实体进行固定大小的邻居抽样。我们首先对有关节点的邻居进行抽样，然后通过保持所有节点和一个特定关系构造若干派生图。通过设计抽样机制，小程度实体也可以从相邻实体中获益。
(3)针对医疗KG的异构性，提出了一种新的多关系特征聚合网络来聚合节点特征信息。对于每个衍生的图，我们设计了一个关联内特征聚合网络，通过使用一个基于注意力池的图卷积网络来聚合嵌入的节点。对于导出的不同关系的图，我们利用关系特异性注意设计了一个相互关联的特征聚合网络。通过设计内部特征和内部关联特征的聚合网络，我们的模型可以得到内部特征和内部关联特征的结合，使学习到的实体嵌入能够更好地捕获医学KG中复杂的结构和丰富的语义信息。

4.Methodology

4.1 Problem Statement

本文主要研究医学知识图表示学习任务，将知识图记为 $G = (E, R, T)$ ，实体 $e_i∈E$ ，关系 $e_i,r,e_j)∈T$ ，其中 $r \in R$ 为关系类型。对于每个实体，初始的文本和图像特征记为 $e^T$ 和 $e^I$ 。我们的目的是考虑知识图中实体的多模态特征和它们之间的复杂关系，获得高质量的知识图表示，并将学习到的嵌入进一步应用到链接中预测和节点分类任务。

4.2 Overall Framework

在这里插入图片描述

分为三个部分：

针对多模态内容的对抗性特征学习。为了聚合节点特征信息，我们采用对抗性特征学习来整合实体的文本和图像特征，并学习多模态公共表示。
采样邻域和构造导出图。对于医疗KG中的每个节点，利用基于广度优先搜索的采样策略对固定大小的邻居进行采样。然后构造派生图，其中每个派生图包含特定类型的节点和关系。
多关系特性聚合。对于每个派生图，使用图神经网络生成节点表示，然后将节点表示与基于注意力池的节点表示相加，生成每个派生图的消息。然后，聚合来自不同的消息导出带有关系特异性注意的图表。

其中Adversarial feature learning module是一个Word2Vec加CNN分别处理文本和图像。

在这里插入图片描述

4.3 Adversarial Feature Learning for Multi-modal Content

首先将不同类型的特征投影到同一个向量空间中。如图3所示，当学习实体在知识图中的嵌入。生成器(GenNet)产生实体的图像/文本表示，并将它们映射到公共空间。我们首先学习使用Word2Vec和CNN架构的实体的文本和图像表示，并将其标记为eT和eI。直观地,生成器的输出应该是类似的，目的是对齐文本和图像表示，并将它们映射到相同的空间。使用每一层图像和文本的表示层之间的欧几里得距离代表多模式的差异,文本的第一次和第二次的表示层可以表示为 $e^T_1$ 和 $e^T_2$ ,图像的第一层和第二层的表示层可以表示为 $e^I_1$ 和 $e^I_2$ 。图像和文本形态的差异可以被表示为

在这里插入图片描述

生成损失为

在这里插入图片描述

将特征输入鉴别器。判别器(DisNet)用一个两层全连接网络和一个sigmoid函数来判断特征是图像还是文本，它输出一个预措辞的标签。鉴别器的损失是交叉熵损失。

对于多模态输出特征 $x=e_2^T+e_2^I$ ，单模态则只有一个文本或图像： $x=e_2^T$ 或 $x=e_2^I$

4.4 Sampling Neighbors and Constructing Derived Graphs

由于知识图是异构的，直接应用现有的图神经网络可能会出现以下问题:

(1)现有的GNN方法不能有效地聚合高阶关系节点之间的信息。
(2)现有的GNN方法由于邻居的大小不同而被削弱。例如，在中国的症状数据集中，罕见疾病可能没有足够的信息来描述它们，因此，它们与其他实体的关系很少。

为了解决上述问题，我们设计了一个邻居采样策略，该策略包括两个步骤:

步骤1:对固定数量的邻居进行采样。我们从实体 $e_i∈E$ 出发，采用广度优先搜索的抽样策略。我们随机选择最多n个当前实体的邻居，然后逐层遍历图以探索邻居节点。采样策略一直运行到我们成功收集到固定数量的实体，采样实体集可以记为 $E_i$ ，实体之间的边可以记为 $T_i$ 。
步骤2:构造几个导出图。对于每个关系类型 $r$ ，我们构造了包含所有采样实体和具有特定关系 $r$ 的边的派生图。对于每个派生图 $G_r$ ，其拓扑结构可以用邻接矩阵 $A_r$ 表示，其中如果该边存在元素为1，否则该元素为0。