本明細書で図加重畳み込みニューラルネットワーク（WGCN）とCONV-TransEはSACN（構造アウェア畳み込みネットワーク）モデルを提案した二つのモジュールと連動して、不完全な知識マップトリプレット（KG）の問題を解決します。SACNは、得られた実体図を埋め込み、制約トリプレットを満たすConvE kgのWGCNエンティティおよび関係抽出物理的特性、および物理的操作入力によってモデル化。実験結果はFB15k-237のデータセットと最良のモデルの結果の前に、SOTA現行モデルの10％よりもWN18RRに、表示されます。
AAAI 2019で公開され、次の情報を：
- 入門
まず、簡単な紹介ナレッジベース（ナレッジベース、KB）。知識は知識で、そのような知識、及び知識、ルール・ベースとケースの知識の本体として、多くの異なる形態があります。知識の関連性の構築に集中するために知識ベース、知識・マップ（ナレッジグラフ、KG）の概念と比較すると。（S =北京、R = mainメソッドは次に、文はトリプルで表すことができ、中国北京の首都、例えば、トリプル定義KG（S、R、O）を使用することですIsCapitalOf、O =中国）。Sは最初のエンティティと呼ばれており、Rが関係と呼ばれ、oはエンティティテールです。タスクのサポート技術情報の記事完全な補完は、ナレッジグラフのトリプルを補完することをいいます。
次いで、本明細書に記載のタスクとのトリプルの定義の後にすることができる：所与KG、タスク完了トリプルを完了するために埋め込まれた表現エンティティおよび関係を、学習（S、R、O）は、所与すなわち尾エンティティに最も可能性が高いためヘッドエンティティと関係、。
- 方法
モジュール抽出埋め込みモデルエンティティのWGCN全体的なフレームワークは、入力コンバージョン-TransEモジュールとして表される埋め込みエンティティがネットワーク全体を訓練するために損失三重制約を満たし装置しました。図1全体の枠組みに示されているように。
ここでは、この記事の導入前にWGCNコンベンション-TransEモジュールとすることと順に伝播します。
1. WGCN
名前が示すように、WGCNは加重グラフ畳み込みネットワークの略で、図は、暫定的に重み付けされた畳み込みニューラルネットワークと呼ばれます。主なアイデアは、関係の異なる側面との間の関係の異なる強度を有する複数の図に異なる重量、複数の単一線図を定義することです。図は、グラフのエッジエンティティ間の関係をエンティティを構成するノード。
GCNメモリの古典的な定義は、主要なアイデアは：重合の各ノードの中央ノードとして、即ち各センタノード、現在の隣接ノードの機能は、中央ノードの次の層として表されることを特徴とする請求ポリマー層、のために、
ここで、N iが近隣のセットiノード（それ自体を含むiノード）、Hを表し、Lの L層のノードを発現するベクター。G（・、・）定義されるような情報の伝達関数は、基本的な方法を表します。
操作を合計することによって、隣接ノードのベクトルは、重合操作GCN層を達成するために、中央ノードを共有する線形変換を表します。送信の前に実施される層によってGCN層スタック層。それは各GCNネイバー情報が重合されていることを言及する価値がある第二の層は、重合隣人である場合、一次隣接情報、後の最初の層の重合は、その隣接ノードは、隣接ノードの隣接ノードに関する情報を持っています、第二ポリマー層情報GCN二次隣接。積層GCN、凝集中央ノードネイバーより広範な範囲の数以上です。より具体的な説明を求めることができる[1]。
その後、我々は主な違いと、メインラインに戻っWGCN古典GCNはナレッジグラフ、異なる量の重合プロセスに異なる関係をモデル化する各関係のため、です。これは、重量、αとして定義されるT Tは関係の総数であり、1≤t≤T、。α- Tパラメータことができます。ですから、反復式に書き込むことができます前に、
ここで、G（・、・）、情報伝達関数を表すと同様に定義されます
このように、我々は、分離中央ノードと隣接ノードとなり、のように書くことができます。
そこに、マトリクス状にそれを書きます
其中，At表示第t个关系构成的0-1邻接矩阵，0为无边相连，1为有边相连。因此，形式上就又回到了原始的GCN递推公式【1】
这样我们便将一个多关系图转变成了多个具有不同强弱关系的单关系图，如Figure 2所示，图的右侧分别对应矩阵A、H、W。这便是WGCN的巧妙之处。
另外，关于KG在WGCN中的建图，使用实体作为图的节点，关系作为图的边。值得说明的是，本文还使用了节点的属性作为图的节点，如属性（Tom，gender，male）。这样做的目的是将属性也作为节点，起到“桥”的作用，相同属性的节点可以共享信息。还有作者为了减少过多的属性节点，对节点进行了合并， 将gender也作为了图中的节点，而不是建立male和female两个属性，理由是gender已经能够确定实体的person，而不必过多区分性别。
因此，WGCN同时使用了三元组的结构信息和实体的属性信息，也就是标题中的structure-awared。
2. Conv-TransE
Conv-TransE这个部分类似于ConvE【2】，通过对(s, r)和o进行相似度打分，来预测关系是否成立。与ConvE的主要区别是去掉了ConvE中的reshape操作，具体可以参看文献【2】。这里给出经典的KG表征学习的打分函数。
来看模型结构，如图所示。
举例来说，将WGCN得到的实体s的embedding和预训练的关系r的embedding进行concat操作，变成一个2*n维的矩阵。对这个矩阵进行卷积操作，通过多个相同尺寸的卷积核，得到feature maps。然后将feature maps拉直成一个向量，通过全连接层进行维度缩减。将这个融合了s和r的向量与WGCN生成的所有向量分别进行点积操作，计算（s，r）与所有待选o的相似度。相似度通过sigmoid缩放到0~1范围内，取相似度最高的作为预测的实体o。
打分函数（相似度函数）体现了前向传播的过程，公式形式为
M(·, ·)表示卷积操作，vec(·)表示拉直操作，f(·)为激活函数。
将打分函数通过sigmoid函数，得到（s, r）和待选o构成三元组成立的概率，即
因此，整个网络的损失也就可以定义为，（s, r）和待选o构成三元组是否成立的二分类交叉熵，即
- 数据集
文中共使用了三个数据集，包括：
1）FB15k-237: freebase三元组
2）WN18RR: wordnet三元组
3）FB15k-237-Attr:作者从FB24k中抽取了实体的属性
具体的统计信息如下：
- 实验
文章进行了链接预测任务的实验，实验结果如表3。可以看到，带有属性节点的SACN性能表现达到了State-Of-The-Art。
参数敏感性部分，文章尝试了不同长度的卷积核，针对不同的数据集有不同的最优参数。
文章还对不同的度的节点的性能进行了比较，可以看到，在度较低的节点下是SACN高于Conv-TransE的，因为邻居节点可以共享更多的信息；然而度较高的节点则效果不如单独的Conv-TransE，文章对它的解释是较多的邻居节点使较重要的邻居信息被过度“平滑”掉了，因此比不上单纯的Conv-TransE。
- 结束语
作者用WGCN来捕获具有相关关系的实体特征，使邻居节点的信息得以共享，这样学到的实体表示要好于孤立的学习ConvE得到的实体表示。本质上是GCN+ConvE的模型框架，这种串联的框架对其他类似的任务也有启发性。另外的体会是深度学习方面的研究，还是要多读论文多总结。好的，做完了这篇博客，相信事情总可以一件一件一件的做完！
参考文献
【1】Kipf, T.N., & Welling, M. (2016). Semi-Supervised Classification with Graph Convolutional Networks. ArXiv, abs/1609.02907.
【2】Dettmers, T., Minervini, P., Stenetorp, P., & Riedel, S. (2017). Convolutional 2D Knowledge Graph Embeddings. AAAI.