奇异值分解SVD

主要参考https://www.cnblogs.com/pinard/p/6251584.html，
https://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html

奇异值分解(Singular Value Decomposition,SVD)，用于降维算法的特征分解、推荐系统、NLP等

1.特征值和特征向量

$$Ax=\lambda x$$

方阵A：n×n
特征向量x：1×n——${w_1,w_2,...,w_n}$
特征值：$\lambda$——$\lambda_1\le\lambda_2\le ... \le \lambda_n$

$$A=W\Sigma W^{-1}$$

W：n×n，上述特征向量集合
$\Sigma$：n×n，主对角线为n个特征值的对角矩阵
标准化得$\|w_i\|_2=1$，则$w_i^Tw_i=1$，则$W^TW=I$，则$W^T=W^{-1}$，则W为酉矩阵

$$A=W\Sigma W^T$$

补充：取topK个特征值对应的特征向量即可实现降维，特征值表示特征的重要性
限制：A必须为方阵

2.奇异值分解SVD

特点：不要求分解的矩阵为方阵

$$A=U\Sigma V^T$$

待分解矩阵A：m×n
U：m×m，由左奇异向量组成
$\Sigma$：m×n，主对角线为奇异值，其他为0
V：n×n，由右奇异向量组成
U和V均为酉矩阵，即$U^TU=I,V^TV=I$

求解上述三个矩阵：

$$(A^TA)v_i=\lambda_i v_i$$
用n×n的方阵 $A^TA$做特征值分解，得到n个特征值和特征向量v，作为右奇异向量，得到右侧的V矩阵；
$$(AA^T)u_i=\lambda_i u_i$$
用m×m的方阵 $AA^T$做特征值分解，得到n个特征值和特征向量u，作为左奇异向量，得到左侧的U矩阵；

求解奇异值：

$$A=U\Sigma V^T \Rightarrow AV=U\Sigma V^TV \Rightarrow AV=U\Sigma \Rightarrow Av_i=\sigma_i u_i \Rightarrow \sigma_i=Av_i/u_i$$
另外：
$$A=U\Sigma V^T \Rightarrow A^T=V\Sigma^TU^T \Rightarrow A^TA=V\Sigma^TU^TU\Sigma V^T \Rightarrow V\Sigma^2V^T$$
则 $A^TA$的特征向量组成V，同理 $AA^T$的特征向量组成U。且特征值是奇异值的平方，即
$$\sigma_i=\sqrt{\lambda_i}$$

3.例子

4.性质

奇异值和特征值类似，且奇异值减少很快，“在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。”。所以可以用topK个奇异值近似描述矩阵

$$A_{m\times n} =U_{m\times m}\Sigma_{m\times n}V_{n\times n}^T \approx U_{m\times k}\Sigma_{k\times k}V_{k\times n}^T$$
则实现用三个小矩阵近似描述大矩阵A，如灰色部分

如：在PCA中，需要先计算样本协方差矩阵 $X^TX$，再计算最大的d个特征向量，样本数和特征数多的时候计算量很大。一些SVD实现算法不需要先求出协方差矩阵 $X^TX$也可以求出右奇异矩阵，sklearn就是使用SVD。另外，左奇异矩阵可以用于行数的压缩

---

按照参考2的解释，矩阵乘法就是线性变换的过程，特征值大小反映了变换方向的重要性