瑞利熵与拉普拉斯矩阵

瑞利熵

R (M, x) = \frac{x^{*} M x}{x^{*} x}

$R(M,x)=\frac{x^*Mx}{x^*x}$

此处的 $x$ 是一个向量，矩阵 $M$ 是一个Hermitian矩阵，即该矩阵共轭对称， $M_{ij}=M_{ji}^*$ ，如果 $M$ 是一个实矩阵，则有 $M^T=M$ 。

瑞利熵的特点是：最大值和最小值分别等于矩阵 $M$ 最大和最小的特征值。

λ_{m i n} ⩽ \frac{x^{*} M x}{x^{*} x} ⩽ λ_{m a x}

$\lambda_{min}\leqslant \frac{x^*Mx}{x^*x} \leqslant \lambda_{max}$

可以用拉格朗日乘子法证明：

\begin{matrix} max R (M, x) = max x^{*} M x \\ s . t . & x^{*} x = c \end{matrix}

$\matrix{ & \max{R(M,x)}=\max{x^* Mx}\\s.t. & x^* x=c}$

J (x) = x^{*} M x - λ (x^{*} x - c) \frac{\partial J (x)}{\partial x} = 0 \to M x = λ x R (M, x) = λ

$J(x)=x^*Mx-\lambda(x^*x-c)\\ \frac{\partial J(x)}{\partial x}=0\rightarrow Mx=\lambda x\\ R(M,x)=\lambda$

扫描二维码关注公众号，回复： 4846357 查看本文章

从上面的证明可以看出：

$R(M,x)=\lambda$ ，瑞利熵的值就是M的特征值，最值一致
$x$ 的解正是 $R(M,x)$ 所对应的关于 $M$ 的特征向量

广义瑞利熵

R (M, N, x) = \frac{x^{*} M x}{x^{*} N x}

$R(M,N,x)=\frac{x^*Mx}{x^*Nx}$

令 $y=N^{-1/2}x$

x^{*} M x = y^{*} (N^{- 1 / 2})^{*} M N^{- 1 / 2} y x^{*} N x = y^{*} (N^{- 1 / 2})^{*} N N^{- 1 / 2} y = y^{*} y

$x^*Mx=y^*(N^{-1/2})^*MN^{-1/2}y\\x^*Nx=y^*(N^{-1/2})^*NN^{-1/2}y=y^*y$

R (M, N, y) = \frac{y^{*} N^{- 1 / 2} M N^{- 1 / 2} y}{y^{*} y}

$R(M,N,y)=\frac{y^*N^{-1/2}MN^{-1/2}y}{y^*y}$

根据瑞利熵的性质， $R(M,N,y)$ 实际上是矩阵 $N^{-1/2}MN^{-1/2}$ 的特征值

拉普拉斯矩阵

定义

上面这个图 $G=<V,E>$ 可以定义两个矩阵：度矩阵 $D$ （Degree）和邻接矩阵 $A$ （Adjacent）

D = (\begin{matrix} 4 & 0 & 0 & 0 & 0 \\ 0 & 2 & 0 & 0 & 0 \\ 0 & 0 & 3 & 0 & 0 \\ 0 & 0 & 0 & 3 & 0 \\ 0 & 0 & 0 & 0 & 2 \end{matrix})

$D=\left ( \matrix{4&0&0&0&0\\ 0&2&0&0&0\\ 0&0&3&0&0\\ 0&0&0&3&0\\ 0&0&0&0&2}\right)$

A = (\begin{matrix} 0 & 1 & 1 & 1 & 1 \\ 1 & 0 & 1 & 0 & 0 \\ 1 & 1 & 0 & 1 & 0 \\ 1 & 0 & 1 & 0 & 1 \\ 1 & 0 & 0 & 1 & 0 \end{matrix})

$A=\left ( \matrix{0&1&1&1&1\\ 1&0&1&0&0\\ 1&1&0&1&0\\1&0&1&0&1\\ 1&0&0&1&0}\right)$

拉普拉斯矩阵的定义是： $L = D-A$

D - A = (\begin{matrix} 4 & - 1 & - 1 & - 1 & - 1 \\ - 1 & 2 & - 1 & 0 & 0 \\ - 1 & - 1 & 3 & - 1 & 0 \\ - 1 & 0 & - 1 & 3 & - 1 \\ - 1 & 0 & 0 & - 1 & 2 \end{matrix})

$D-A =\left ( \matrix{4&-1&-1&-1&-1\\ -1&2&-1&0&0\\ -1&-1&3&-1&0\\-1&0&-1&3&-1\\ -1&0&0&-1&2}\right)$

性质

令函数 $f(v_i)$ 表示结点 $v_i$ 的函数

f^{*} L f = f^{*} D f - f^{*} A f = \sum_{i} f^{2} (v_{i}) d_{i} - \sum_{i} \sum_{j} A_{i j} f (v_{i}) f (v_{j}) = \frac{1}{2} (\sum_{i} f^{2} (v_{i}) d_{i} - 2 \sum_{i} \sum_{j} A_{i j} f (v_{i}) f (v_{j}) + \sum_{j} f^{2} (v_{j}) d_{j}) = \frac{1}{2} \sum_{i} \sum_{j} A_{i j} {(f_{i} - f_{j})}^{2}

$f^*Lf=f^*Df-f^*Af\\ =\sum_i f^2(v_i)d_i-\sum_i\sum_jA_{ij}f(v_i)f(v_j)\\ =\frac{1}{2}\left ( \sum_i f^2(v_i)d_i-2\sum_i\sum_jA_{ij}f(v_i)f(v_j) + \sum_j f^2(v_j)d_j\right )\\ =\frac{1}{2}\sum_i\sum_jA_{ij}\left (f_i-f_j\right )^2$

这是一个欧氏距离加权求和的形式，特殊的让 $A_ij=1$ ，则它就是所有点两两之间的距离之和。所以拉普拉斯矩阵是关于图中的点的一种基于欧氏距离的测度。
另外，显然拉普拉斯矩阵是半正定的，所有特征值都非负。所谓半正定矩阵，即对任意非零向量 $x$ 都有 $x^*Lx\geqslant 0$ ，看上面的式子显然成立。
那么拉普拉斯矩阵与瑞利熵有什么关系呢？简而言之，上面这个式子的计算，不需要遍历所有点之间的配对，根据瑞利熵的性质，可以简化为求拉普拉斯矩阵关于特征向量 $f$ 的特征值，所以是一个特征值分解的过程，而矩阵分解又可以使用梯度下降实现，进一步简化。

参考文献

【Wiki】半正定矩阵
 【博客】线性判别分析LDA原理总结
 【博客】拉普拉斯矩阵（Laplace Matrix）与瑞利熵（Rayleigh quotient）
【Wiki】Rayleigh quotient