翻译模型简介

在翻译模型中, 将relation视为从head到tail的翻译问题, 即 $head+relation \approx tail$ ,简写为 $h+r\approx t$ ,从而把entity和relation在同一个语义空间中进行embedding学习.

figure transE,transH,transR之间的比较

TransH模型尝试通过不同的形式表示不同关系中的实体结构，对于同一个实体而言，它在不同的关系下也扮演着不同的角色。模型首先通过关系向量lr与其正交的法向量wr选取某一个超平面F，然后将头实体向量lh和尾实体向量lt法向量wr的方向投影到F, 最后计算损失函数。TransH使不同的实体在不同的关系下拥有了不同的表示形式，但由于实体向量被投影到了关系的语义空间中，故它们具有相同的维度。

transR

同一个实体有不同维度的语义，不同的关系所关注的实体的语义也不尽相同，因此认为将它们映射到同一个语义空间，在一定程度上就限制了模型的表达能力。

同为翻译模型, 但与前面的不同在于, transR 先将实体与关系在各自的语义空间中分开建立各自的embedding, 然后, 通过第一个投影实体学习从实体空间到关系空间的embedding.

首先得到 $h,t$ 在实体空间中的向量 $\mathbf h, \mathbf t$ ,再为每一种关系r准备一个投影映射矩阵 $M_r$ ,得到 $h_r=hM_r$ , 那么评分函数就是

f_{r} (h, t) = | | h_{r} + r - t_{r} | |_{2}^{2}

$f_r(h,t)=||h_r+r-t_r||_2^2$
当三元组< h,r,t>成立时分数应该尽可能的小.
实践中会对这些向量做强制正规化.

task

论文中的评估有以下三种任务.

link prediction

对测试集中的(h,r,t), 将 h 或 t 去掉, 使用 $f_r()$ 对所有的entity评分, 取得分最低的作为预测结果.
评测时取得分最低的10个entity, 得到 Hits@10(%)作为指标..

triple binary classification

对于给定的(h,r,t), 通过 $f_r()$ 与阈值 $\delta_r$ 比较,判断给定三元组是否成立. 是一个典型的二分类问题.

relation extraction from text

从文本中提取 relational fact(关系事实) , 来扩充已有的知识图谱.

数据集

见参考[3].

参考

论文, transR
github, Knowledge Graph Embeddings including TransE, TransH, TransR and PTransE,KB2E
论文, transE

知识图谱表示学习