拉普拉斯矩阵/特征映射

https://www.jianshu.com/p/87057397a070
https://blog.csdn.net/v_july_v/article/details/40738211
https://blog.csdn.net/yujianmin1990/article/details/48420483
https://www.cnblogs.com/xbinworld/archive/2012/11/29/2795287.html
http://web.cse.ohio-state.edu/~belkin.8/papers/LEM_NIPS_01.pdf

1.拉普拉斯矩阵(Laplacian Matrix)

表示图的一种矩阵，给定n个顶点的图 $G=(V,E)$ ，分别表示graph、vertex、edge
Laplacian Matrix定义为，D为度矩阵，W为邻接矩阵
$L = D - W$ $L=D-W$
例子：

则邻接矩阵W为
$W = [\begin{matrix} 0 & 1 & 0 & 0 & 1 & 0 \\ 1 & 0 & 1 & 0 & 1 & 0 \\ 0 & 1 & 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 & 1 & 1 \\ 1 & 1 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 & 0 \end{matrix}]$ $W=\left[\begin{matrix} 0 & 1 & 0 & 0 & 1 & 0\\ 1 & 0 & 1 & 0 & 1 & 0\\ 0 & 1 & 0 & 1 & 0 & 0\\ 0 & 0 & 1 & 0 & 1 & 1\\ 1 & 1 & 0 & 1 & 0 & 0\\ 0 & 0 & 0 & 1 & 0 & 0 \end{matrix}\right]$
度矩阵D为
$D = [\begin{matrix} 2 & 0 & 0 & 0 & 0 & 0 \\ 0 & 3 & 0 & 0 & 0 & 0 \\ 0 & 0 & 2 & 0 & 0 & 0 \\ 0 & 0 & 0 & 3 & 0 & 0 \\ 0 & 0 & 0 & 0 & 3 & 0 \\ 0 & 0 & 0 & 0 & 0 & 1 \end{matrix}]$ $D=\left[\begin{matrix} 2 & 0 & 0 & 0 & 0 & 0\\ 0 & 3 & 0 & 0 & 0 & 0\\ 0 & 0 & 2 & 0 & 0 & 0\\ 0 & 0 & 0 & 3 & 0 & 0\\ 0 & 0 & 0 & 0 & 3 & 0\\ 0 & 0 & 0 & 0 & 0 & 1 \end{matrix}\right]$
则拉普拉斯矩阵为
$L = D - W = [\begin{matrix} 2 & - 1 & 0 & 0 & - 1 & 0 \\ - 1 & 3 & - 1 & 0 & - 1 & 0 \\ 0 & - 1 & 2 & - 1 & 0 & 0 \\ 0 & 0 & - 1 & 3 & - 1 & - 1 \\ - 1 & - 1 & 0 & - 1 & 3 & 0 \\ 0 & 0 & 0 & - 1 & 0 & 1 \end{matrix}]$ $L=D-W=\left[\begin{matrix} 2 & -1 & 0 & 0 & -1 & 0\\ -1 & 3 & -1 & 0 & -1 & 0\\ 0 & -1 & 2 & -1 & 0 & 0\\ 0 & 0 & -1 & 3 & -1 & -1\\ -1 & -1 & 0 & -1 & 3 & 0\\ 0 & 0 & 0 & -1 & 0 & 1 \end{matrix}\right]$

拉普拉斯矩阵的性质

L是对称半正定矩阵
$L1=01$ ，即最小特征值是0， $L*1=(D-W)*1=0=0*1$
L有n个非负的实特征值
对任意实向量 $f\in \mathbb{R}^n$ ，成立

$f^{T} L f = \frac{1}{2} \sum_{i, j = 1}^{N} w_{i j} (f_{i} - f_{j})^{2}$ $f^TLf=\frac{1}{2}\sum_{i,j=1}^{N}w_{ij}(f_i-f_j)^2$

2.拉普拉斯特征映射步骤

拉普拉斯特征映射将处于流形上的数据，在尽量保留原数据间相似度的情况下，映射到低维下表示。流程：

2.1 构造邻近图(用邻近图近似流形)

距离阈值， $\|x_i-x_j \|^2\le \epsilon$
K近邻

2.2 计算边权重(样本间相似度)

热核
$w_{i j} = {\begin{aligned} e x p (- \frac{‖ x_{i} - x_{j} ‖^{2}}{t}) & 节点 i 与 j 相连 \\ 0 & 不相连 \end{aligned}$ $w_{ij}=\left\{ \begin{aligned} &exp(-\frac{\|x_i-x_j\|^2}{t}) && 节点i与j相连\\ &0 && 不相连 \end{aligned} \right.$
简单形式
$w_{i j} = {\begin{aligned} 1 & 节点 i 与 j 相连 \\ 0 & 不相连 \end{aligned}$ $w_{ij}=\left\{ \begin{aligned} 1 && 节点i与j相连\\ 0 && 不相连 \end{aligned} \right.$

2.3 特征映射

求解 $Lf=\lambda D f$ ;——广义特征值问题
得到特征值和特征向量
${\begin{aligned} L f_{0} = λ_{0} D f_{0}; L f_{1} = λ_{1} D f_{1}; . . . L f_{m} = λ_{m} D f_{m} . . . \\ 0 = λ_{0} \leq λ_{1} \leq . . . \leq λ_{.} . . \end{aligned}$ $\left\{ \begin{aligned} & Lf_0=\lambda_0Df_0;Lf_1=\lambda_1Df_1;...Lf_m=\lambda_mDf_m...\\ & 0=\lambda_0\le\lambda_1\le...\le\lambda_... \end{aligned} \right.$
取最小的m个非零特征值的特征向量作为降维结果，即

3.推导

希望相互间有关系的点（在图中相连的点）在降维后的空间中尽可能的靠近。Laplacian Eigenmaps可以反映出数据内在的流形结构。
假设样本n个，目标维度m，则目标矩阵为 $Y^{n\times m}$ ，每个行向量 $y_i^T$ 表示 $x_i$ 在目标空间中的向量那个表示，拉普拉斯特征映射要最小化目标函数

min \sum_{i, j} W_{i j} ‖ y_{i} - y_{j} ‖^{2}

$\min \sum_{i,j} W_{ij}\|y_i-y_j \|^2$
令对角阵D为W中每行之和，经过线性变化([3]中有推导)转化为优化

min t r (Y^{T} L Y), s . t . Y^{T} D Y = I

$\min tr(Y^TLY),s.t. Y^TDY=I$
使得公式最小化的Y的列向量是以下广义特征值问题的m个最小非0特征值对应的特征向量

L y = λ D y

$Ly=\lambda Dy$

这里写图片描述