Contrastive and Generative Graph Convolutional Networks for Graph-based Semi-Supervised Learning

• 论文地址：https://arxiv.org/pdf/2009.07111.pdf
• 来源：AAAI, 2021
• 关键词：semi-supervised learning, GCN, Contrastive Learning, GCN

1 前言

该论文主要解决的是基于图的半监督学习中的监督信息短缺的问题，该论文结合数据之间的相似性和图结构来丰富监督信息。

2 问题定义

假设共有$n=l+u$个样本（结点）， Ψ = { x 1 , ⋯   , x l , x l + 1 , ⋯   , x n } \Psi=\left\{\mathbf{x}_{1}, \cdots, \mathbf{x}_{l}, \mathbf{x}_{l+1}, \cdots, \mathbf{x}_{n}\right\} Ψ={ x1​,⋯,xl​,xl+1​,⋯,xn​}，其中前$l$个样本为带标签的样本，标签为 { y i } i = 1 l \{y_i\}_{i=1}^l { yi​}i=1l​，后$u$个样本不带标签，通常在半监督学习中$l$远小于$u$。特征矩阵为$\mathbf{X}\in {\mathbb{R}}^{n\times d}$，$\mathbf{Y}\in {\mathbb{R}}^{n\times c}$为标签矩阵。该论文的目标就是找到后$u$个结点的标签。（这是一个transductive的方法）。

3 思路

整体框架如上图所示。为了丰富监督信息，论文使用结点之间的相似性和图结构来丰富监督信息，分别使用半监督的对比学习来捕获数据之间的相似性和图生成损失来捕获图结构信息。

3.1 Semi-Supervised Contrastive Learning}

对比学习通过数据之间的相似性与相异性来学习数据的表征，但是对比学习通常用在无标签数据中，不能利用标签数据。为此，论文中提出半监督的对比学习来利用带标签的数据。半监督的对比学习损失可以分为两部分：无监督的对比损失和监督的对比损失。

论文中使用local和global两种视角的GCN来生成结点表征（目的是为了后续的对比学习），分别表示为${\mathbf{H}}^{{\varphi }_1},{\mathbf{H}}^{{\varphi }_2}$。无监督的对比损失为：
$${\mathcal{L}}_{uc}=\frac{1}{2n}\sum _{i=1}^n\left({\mathcal{L}}_{uc}^{{\varphi }_1}\left({\mathbf{x}}_i\right)+{\mathcal{L}}_{uc}^{{\varphi }_2}\left({\mathbf{x}}_i\right)\right)$$
其中${\mathcal{L}}_{uc}^{{\varphi }_1}\left({\mathbf{x}}_i\right),{\mathcal{L}}_{uc}^{{\varphi }_2}\left({\mathbf{x}}_i\right)$分别为：
$$\begin{array}{l}{\mathcal{L}}_{uc}^{{\varphi }_1}\left({\mathbf{x}}_i\right)=-\log \frac{\exp \left(⟨{\mathbf{h}}_i^{{\varphi }_1},{\mathbf{h}}_i^{{\varphi }_2}⟩\right)}{{\sum }_{j=1}^n\exp \left(⟨{\mathbf{h}}_i^{{\varphi }_1},{\mathbf{h}}_j^{{\varphi }_2}⟩\right)}\\ {\mathcal{L}}_{uc}^{{\varphi }_2}\left({\mathbf{x}}_i\right)=-\log \frac{\exp \left(⟨{\mathbf{h}}_i^{{\varphi }_2},{\mathbf{h}}_i^{{\varphi }_1}⟩\right)}{{\sum }_{j=1}^n\exp \left(⟨{\mathbf{h}}_i^{{\varphi }_2},{\mathbf{h}}_j^{{\varphi }_1}⟩\right)}\end{array}$$

有监督的对比损失为：
$${\mathcal{L}}_{sc}=\frac{1}{2l}\sum _{i=1}^l\left({\mathcal{L}}_{sc}^{{\varphi }_1}\left({\mathbf{x}}_i\right)+{\mathcal{L}}_{sc}^{{\varphi }_2}\left({\mathbf{x}}_i\right)\right)$$
其中${\mathcal{L}}_{sc}^{{\varphi }_1}\left({\mathbf{x}}_i\right),{\mathcal{L}}_{sc}^{{\varphi }_2}\left({\mathbf{x}}_i\right)$分别为：
$$\begin{array}{l}{\mathcal{L}}_{sc}^{{\varphi }_1}\left({\mathbf{x}}_i\right)=-\log \frac{{\sum }_{k=1}^l{1}_{\left[y_i=y_k\right]}\exp \left(⟨{\mathbf{h}}_i^{{\varphi }_1},{\mathbf{h}}_k^{{\varphi }_2}⟩\right)}{{\sum }_{j=1}^l\exp \left(⟨{\mathbf{h}}_i^{{\varphi }_1},{\mathbf{h}}_j^{{\varphi }_2}⟩\right)}\\ {\mathcal{L}}_{sc}^{{\varphi }_2}\left({\mathbf{x}}_i\right)=-\log \frac{{\sum }_{k=1}^l{1}_{\left[y_i=y_k\right]}\exp \left(⟨{\mathbf{h}}_i^{{\varphi }_2},{\mathbf{h}}_k^{{\varphi }_1}⟩\right)}{{\sum }_{j=1}^l\exp \left(⟨{\mathbf{h}}_i^{{\varphi }_2},{\mathbf{h}}_j^{{\varphi }_1}⟩\right)},\end{array}$$

半监督对比损失为：${\mathcal{L}}_{ssc}={\mathcal{L}}_{uc}+{\mathcal{L}}_{sc}$。

3.2 Graph Generative Loss

为了利用图的结构作为监督信息引入了图生成损失。在现有生成模型的启示下，将图中边$e_{ij}$视为二元变量，并且该变量是条件独立的。所以在给定local和global视角的结点表征时，图的概率表示为：
$$\begin{array}{r}p(\mathcal{G}|{\mathbf{H}}^{{\varphi }_1},{\mathbf{H}}^{{\varphi }_2})=\prod _{i,j}p(e_{ij}|{\mathbf{H}}^{{\varphi }_1},{\mathbf{H}}^{{\varphi }_2})\\ =\prod _{i,j}p(e_{ij}|{\mathbf{h}}_i^{{\varphi }_1},{\mathbf{h}}_j^{{\varphi }_2})\\ =\prod _{i,j}\delta ([{\mathbf{h}}_i^{{\varphi }_1},{\mathbf{h}}_j^{{\varphi }_2}]w)\end{array}$$（类似于极大似然概率），其中$\delta$为逻辑回归函数。

图生成损失为：${\mathcal{L}}_{g^2}=-p(\mathcal{G}|{\mathbf{H}}^{{\varphi }_1},{\mathbf{H}}^{{\varphi }_2})$。

3.3 Model Training

因为采用了local和global的视角，结点最终的表征为：$\mathbf{O}=f{\lambda }^{{\varphi }_1}{\mathbf{H}}^{{\varphi }_1}+(1-{\lambda }^{{\varphi }_1}){\mathbf{H}}^{{\varphi }_2}$。
因为还存在一部分带标签的数据，因此可以借助这一部分数据产生交叉熵损失：${\mathcal{L}}_{ce}=-{\sum }_{i=1}^l{\sum }_{j=1}^c{\mathbf{Y}}_{ij}ln{\mathbf{O}}_{ij}$。
最终模型的损失即为：
$$\mathcal{L}={\mathcal{L}}_{ce}+{\lambda }_{ssc}{\mathcal{L}}_{ssc}+{\lambda }_{g^2}{\mathcal{L}}_{g^2}$$
其中${\lambda }_{ssc},{\lambda }_{g^2}$均为超参数。

4 方法的优势与局限性

4.1 优势

• 将对比学习引入到半监督学习中，结合了不带标签的数据和带标签的数据
• 利用结点相似性与图结构来丰富监督信息

4.2 局限性

• 论文中的方法为transductive，不能应用于未见过的结点
• 将论文中的方法改为inductive的

---

---

欢迎访问我的个人博客~~~