拉普拉斯矩阵的性质

图和拉普拉斯矩阵

解释：可以看到，上面的图是无向图，所以其对应的邻接矩阵是对称矩阵，表示如果顶点1和顶点3有边，那么3到顶点1也有边，但是注意对于有向图就未必，因为可能顶点1指向顶点3，顶点3却没有指向顶点1，这个时候顶点3到顶点1是没有边的。

解释：度矩阵应该很好理解，即一共有多少条边与该顶点有关，然后把这个数写在方阵的对角线上。

可以看到，拉普拉斯矩阵还是对称矩阵。
上面是连通图的例子，我们举一个不是连通图的例子。

邻接矩阵为：

度矩阵为：

由此可得拉普拉斯矩阵为：

注：我画方框是因为每一个方框都是 一个连通图，都为方阵， 其他地方的值全为0.

拉普拉斯矩阵的性质

上面提到了拉普拉斯矩阵，下面说一说他的性质。

5个性质：


上面两个性质是一起的，性质1大家看看本文的引言就知道了。对于性质2，熟悉线性代数的人都知道，对一个方阵求行和，其实相当于乘以一个$n$维的，每一个维度都为1的向量，一般我们用$\vec{e}$表示。
所以$L\ast \vec{e}=\vec{0}$，其中$\vec{0}$向量也是$n$维向量，每一个维度都为0，对应于性质1：L的每个行和为0，共有$n$行。
我们将上述等式改写成$L\ast \vec{e}=0\ast \vec{e}$，这是特征值和特征向量的定义，这个等式告诉我们：L有一个特征值为0，且这个特征值对应的特征向量中有一个是$\vec{e}$。

性质3，4是一起的，我们需要先证明性质4




第一行变换到第二行其实就是将第一行复制了一遍。
其他的应该好理解了，比如第2行到第3行，我们利用了度$d$和邻接矩阵$w_{ij}$的关系。
既然已经证明了L是半正定的矩阵，那么当然就可以推出性质3，有n个非负的特征值。

我们把这个证明从易到难来进行。

这个我们要证明的是，0特征值对应的特征向量每个分量相同，也即该特征向量是$k\vec{e}$。
我们前面有：




也即证明了每一个分量需要相等，证明完毕。
不过，上述可能会有一点难懂，$w_{ij}$非负，为什么可以证明后面的为0呢？难道没有可能后面的某一项不为0，恰好此时$w_{ij}$为0，从而继续保持整体为0？
那我们就假设有一项$f_i-f_j!=0$，那么会发生什么情况呢？$f$的其他分量会因为这个不相等从而至少分成两个阵营，比如$f_m$可能1.只和它们其中一个相等2.和两个都不相等。我们讨论第一种情况就够了，即假设分成了两个阵营，假设四个顶点的无向图，$f_1,f_2$一组，$f_3,f_4$一组，由于两个阵营不相等，那么强迫$w_{ij}=0$，从而会发生节点1，2不会有边连接到节点3,4。这就不是只有一个连通图了啊，而是至少两个。

这个证明是容易的。

即：

注意到，上面的每一个L都对应一个连通图，是方阵，它的上下左右都是0，至于是几阶，那么看情况了。如果觉得抽象地可以参照引言处非连通图的例子。
然后精彩之处来了，我们可以构造

你会发现重大秘密

1. 这k个向量都是线性无关的。
2. 这k个向量右乘以拉普拉斯矩阵都是0向量，换言之，这k个向量都是拉普拉斯矩阵特征值0对应的特征向量
3. 由1.2我们可以得到，一个图有多少个连通图，那么特征值0就对应多少个不相关的特征向量。上述得证。

例子：


组合成一个L

将这两个基向量组合起来。

（从机器学习谱聚类的角度）把上面这个看做一个矩阵，$x_1=(1,0)$，这是我们赋予$x_1$的新特征。

即从数学上可知，两个连通图中的顶点各为一类。这也很符合我们的直觉。

归一化拉普拉斯矩阵

下面接着介绍两种非常常见的：归一化拉普拉斯矩阵。

一个非常疑惑的问题是：为什么需要归一化，这样有什么好处呢？大家可以好好思考。

归一化与标准的异同

对于对称型，有性质：

这个很显然，将对称型完整带入上面，然后先对$f$进行操作，就是上面的结果，相当于那个归一化$D^{-1/2}$变成了归一到$f$上去了。

这里我想不用多说吧，只需要利用特征值概念就可以发现这是充要条件。

这个证明比上面这个还简单。

这个也很容易证明，直接用归一化的L与特征向量相乘会发现是0向量。

以上两个都可以类似L那样，写出半正定定义$>=0$的式子。

这个也是类似的，简短的说就是左右乘以一个对角矩阵不会影响这个性质，也就是说有下面：