论文解读：（TransD）Knowledge Graph Embedding via Dynamic Mapping Matrix

论文解读：（TransD）Knowledge Graph Embedding via Dynamic Mapping Matrix

  知识图谱作为人工智能应用的重要资源，表示学习对知识图谱的完善和应用至关重要。先前提出的TransE、TransH、TransR模型对表示学习提升不少，表示学习对关系抽取、三元组分类以及链接预测等方面具有作用。TransD模型改进TransR，认为不同的实体应映射到不同的语义空间中，且减少了计算量。

一、简要信息

序号	属性	值
1	模型名称	TransD
2	所属领域	自然语言处理
3	研究内容	知识表示
4	核心内容	knowledge embedding
5	GitHub源码	https://github.com/mrlyk423/relation_extraction 或 https://github.com/thunlp/KB2E
6	论文PDF	https://www.aclweb.org/anthology/P15-1067.pdf)

二、摘要与引言

  知识图谱对于大量的人工智能应用来说是非常有用的资源，但是其距离完善还有一段距离。先前的工作例如TransE、TransH和TransR，认为头实体到尾实体可以被认为是一种翻译，且CTransR获得最优效果。本文，我们提出一个细粒度模型，叫TransD，且相比之前的模型有所提高。在TransD中，我们使用两个两个想来来表征两个实体（头实体和尾实体）。首先第一个向量表征实体关系，另一个被用来构建动态映射矩阵。相比TransR/CTransR模型，TransD不仅考虑到关系的多样性，也考虑到实体的多样性。TransD有较少的参数，且TransD参数较少，没有矩阵向量乘法运算，可以应用于大型图数据。实验中，我们在两个标准任务上评估了我们的模型。评估的结果表明我们的方法比最优模型更好。
  像WordNet、FreeBase、YaGo一样的知识图谱在许多AI应用，例如关系抽取、问答等。这些通常包含大量的结构化数据，形如 $(head entity, relation, tail entity)$即 $(h,r,t)$ 。TransR模型包含如下几个缺点：
（1）对于特定的关系 $r$ ，所有实体共享同一个语义空间 $M_r$ 。因此实体需要映射到不同的语义空间中；
（2）实体和关系的投影操作是一个连续迭代的操作，仅依靠关系进行推理是不足的；
（3）矩阵向量带来大量的参数运算量。

三、相关工作与主要贡献

  相关工作部分由于和TransH文章一样，请直接阅读【TransH】的相关工作部分。

四、算法模型详解（TransD）

  本文提出一种全新的方法TransD来为图谱进行建模。如图所示

我们定义了两个向量，第一个向量表征实体或关系的语义，另一个向量（投影向量）表示如何将实体从实体空间映射到关系空间中，因此每个实体对有唯一的矩阵。 $\mathbf{M}_{rh},\mathbf{M}_{rt}$ 分别是实体 $h,t$ 的映射矩阵， $\mathbf{h}_{ip}, \mathbf{t}_{ip}(i=1,2,3)$ 及关系 $\mathbf{r}_p$ 为投影向量， $\mathbf{h}_{i\perp},\mathbf{t}_{i\perp}$ 分别为头尾实体的投影向量。因此有：
$\mathbf{M}_{rh}=\mathbf{r}_p\mathbf{h}_{p}^{\mathbf{T}}+\mathbf{I}^{m\times n}$

$\mathbf{M}_{rt}=\mathbf{r}_p\mathbf{t}_{p}^{\mathbf{T}}+\mathbf{I}^{m\times n}$

$\mathbf{h}_{\perp}=\mathbf{M}_{rh}\mathbf{h}$

$\mathbf{t}_{\perp}=\mathbf{M}_{rt}\mathbf{t}$

$f_r(\mathbf{h},\mathbf{{t})=-||\mathbf{h}_{\perp}+\mathbf{r}-\mathbf{t}_{\perp}}||_2^2$

  分析上式，实体投影矩阵主要与当前实体对中的关系和实体有关，相比TransR模型，每个实体所在的投影空间不相同。损失函数如下所示：

$L=\sum_{(h,r,t)\in S}\sum_{(h',r,t')\in S'}[\gamma + f_r(h,t)-f_r(h',t')]_+$

  负采样的策略与TransH和TransR相同。

五、实验及分析

  数据集包括四个，分别如图所示：

实验包括两个部分：
（1） 三元组分类：任务给定三元组，判定当前三元组是否正确。实验结果如图所示：

（2）链接预测：给定实体和关系，预测另一个实体。实验结果如图所示：