GCN详解

什么是Convolution

Convolution的数学定义是
$(f*g)(t)=\int_{\mathbb{R}}^{}f(x)g(t-x)dx$

一般称g为作用在f上的filter或kernel

一维的卷积示意图如下

大家常见的CNN二维卷积示意图如下

在图像里面卷积的概念很直接，因为像素点的排列顺序有明确的上下左右的位置关系。

比如这个社交网络抽象出来的graph里面，有的社交vip会关联上万的节点，这些节点没有空间上的位置关系，也就没办法通过上面给出的传统卷积公式进行计算。

Fourier变换

为了解决graph上卷积计算的问题，我们给出第二个装备--Fourier变换。

先上结论，根据卷积定理，卷积公式还可以写成

$f*g=\mathcal{F}^{-1}\{\mathcal{F}\{f\}\cdot \mathcal{F}\{g\}\}$

这样我们只需要定义graph上的fourier变换，就可以定义出graph上的convolution变换。

好的，先来看下Fourier变换的定义

$\mathcal{F}\{f\}(v)=\int_{\mathbb{R}}^{}f(x)e^{-2\pi ix\cdot v}dx$

Inverse Fourier变换则是

$\mathcal{F}^{-1}\{f\}(x)=\int_{\mathbb{R}}^{}f(v)e^{2\pi ix\cdot v}dv$

根据Fourier变换及其逆变换的定义，下面我们来证明一下卷积定理

我们定义 $h$ 是 $f$ 和 $g$ 的卷积，那么

$h(z)=\int_{\mathbb{R}}^{}f(x)g(z-x)dx$

$\begin{align} \mathcal{F}\{f*g\}(v) &= \mathcal{F}\{h\}(v) \\ &= \int_{\mathbb{R}}^{}h(z)e^{-2\pi iz\cdot v}dz \\ &= \int_{\mathbb{R}}^{}\int_{\mathbb{R}}^{}f(x)g(z-x)e^{-2\pi iz\cdot v}dxdz \\ &= \int_{\mathbb{R}}^{}f(x)(\int_{\mathbb{R}}^{}g(z-x)e^{-2\pi iz\cdot v}dz)dx \\ \end{align}$

带入 $y=z-x$ ; $dy=dz$

$\begin{align} \mathcal{F}\{f*g\}(v) &= \int_{\mathbb{R}}^{}f(x)(\int_{\mathbb{R}}^{}g(y)e^{-2\pi i(y+x)\cdot v}dy)dx \\ &= \int_{\mathbb{R}}^{}f(x)e^{-2\pi ix\cdot v}(\int_{\mathbb{R}}^{}g(y)e^{-2\pi iy\cdot v}dy)dx \\ &= \int_{\mathbb{R}}^{}f(x)e^{-2\pi ix\cdot v}dx\int_{\mathbb{R}}^{}g(y)e^{-2\pi iy\cdot v}dy \\ &= \mathcal{F}\{f\}(v)\cdot \mathcal{F}\{g\}(v) \end{align}$

最后对等式的两边同时作用 $\mathcal{F}^{-1}$ ，得到

$f*g=\mathcal{F}^{-1}\{\mathcal{F}\{f\}\cdot \mathcal{F}\{g\}\}$

Laplacian算子

一波未平，又来一个陌生的概念。。。

不要担心，这是出新手村之前的最后一件装备了。

一阶导数定义为

$f^{\prime}(x)=\lim_{h \rightarrow 0}\frac{f(x+h)-f(x)}{h}$

laplacian算子简单的来说就是二阶导数

$\Delta f(x)=\lim_{h \rightarrow 0}\frac{f(x+h)-2f(x)+f(x-h)}{h^{2}}$

那在graph上，我们可以定义一阶导数为

$f_{*g}^{\prime}(x)=f(x)-f(y)$

其中y是x的邻居节点

那么对应的Laplacian算子可以定义为
$\Delta_{*g} f^{\prime}(x)=\Sigma_{y\sim x} f(x)-f(y)$

定义 $D$ 是 $N\times N$ 的度数矩阵(degree matrix)

$D(i,j) = \begin{cases} d_{i} & \text{if } i=j \\ 0 & otherwise \end{cases}$

定义 $A$ 为 $N\times N$ 邻接矩阵(adjacency matrix)

$A(i,j) = \begin{cases} 1 & \text{if } x_{i} \sim x_{j} \\ 0 & otherwise \end{cases}$

那么图上的Laplacian算子可以写成

$L = D-A$

标准化之后得到 $L=I_{N}-D^{-\frac{1}{2}}AD^{-\frac{1}{2}}$

定义Laplacian算子的目的是为了找到Fourier变换的基

比如传统Fourier变换的基 $e^{2\pi ix\cdot v}$ 就是Laplacian算法的一组特征向量

$\Delta e^{2\pi ix\cdot v} = \lambda e^{2\pi ix\cdot v}$ , $\lambda$ 是一个常数

那么图上的Fourier基就是 $L$ 矩阵的n个特征向量 $U=[u_1 ...u_n]$ ， $L$ 可以分解为

$L=U\Lambda U^{T}$

其中 $\Lambda$ 是特征值组成的对角矩阵

$\begin{array}{c|c|c} & \text{传统Fourier变换} & \text{Graph Fourier变换} \\ \hline Fourier变换基 & e^{-2\pi ixv} & U^{T} \\ 逆Fourier变换基 & e^{2\pi ixv} & U \\ 维度 & \infty & 点的个数n \\ \end{array}\\$