机器学习_奇异值分解（SVD）详解

特征值和特征向量

特征值和特征向量的定义如下：

$Ax=\lambda x$

其中 $A$是一个 $n\times n$的实对称矩阵， $x$是一个 $n$维向量，则我们说 $\lambda$是矩阵 $A$的一个特征值，而 $x$是矩阵 $A$的特征值 $\lambda$所对应的特征向量。

特征值和特征向量的好处：

我们可以将矩阵 $A$特征分解。如果我们求出了矩阵 $A$的 $n$个特征值 $\lambda_{1}\le\lambda_{2}\le...\le\lambda_{n}$，以及这 $n$个特征值所对应的特征向量 ${w_1,w_2,...w_n}$，如果这 $n$个特征向量线性无关，那么矩阵 $A$就可以用下式的特征分解表示：

$A=W\Sigma W^{-1}$

其中 $W$是这 $n$个特征向量所组成的 $n\times n$维矩阵，而 $\Sigma$为这 $n$个特征值为主对角线的 $n\times n$维矩阵。

一般我们会把 $W$的这 $n$个特征向量标准化，即满足 $||w_i||_{2}=1$，或者说 $w_i^Tw_i=1$，此时 $W$的 $n$个特征向量为标准正交基，满足 $W^TW=I$，即 $W^T=W^{-1}$，也就是说 $w$为酉矩阵。

这样我们就可以将特征分解表达式写成：

$A=W\Sigma W^T$

注意到要进行特征分解，矩阵 $A$必须为方阵。那么如果 $A$不是方阵，即行和列不相同时，我们还可以对矩阵进行分解吗？

当然是可以的，SVD就是这样的。

SVD的定义

SVD也是对矩阵进行分解，但是和特征分解不同，SVD并不要求要分解的矩阵为方阵。假设我们的矩阵 $A$是一个 $m\times n$的矩阵，那么我们定义矩阵 $A$的SVD为：

$A=U\Sigma V^T$

其中 $U$是一个 $m\times m$的矩阵， $\Sigma$是一个 $m\times m$的矩阵，除了主对角线上的元素以外全为0，主对角线上的每个元素都称为奇异值， $V$是一个 $n\times n$的矩阵。 $U$和 $V$都是酉矩阵，即满足 $W^TW=I$， $V^TV=I$。下图可以很形象的看出上面SVD的定义：

那么我们如何求出SVD分解后的 $U,\Sigma,V$这三个矩阵呢？

如果我们将 $A$的转置和 $A$做矩阵乘法，那么会得到 $n\times n$的一个方阵 $A^TA$。既然 $A^TA$是方阵，那么我们就可以进行特征分解，得到的特征值和特征向量满足下式：

$(A^TA)v_i=\lambda_iv_i$

这样我们就可以得到矩阵 $A^TA$的 $n$个特征值和对应的 $n$个特征向量 $v$了。将 $A^TA$的所有特征向量组成一个 $n\times n$的矩阵 $V$，就是我们SVD公式里的 $V$矩阵了。一般我们将 $V$中的每个特征向量叫做 $A$的右奇异向量。

如果我们将 $A$和 $A$的转置做矩阵乘法，那么会得到 $m\times m$的一个方阵 $AA^T$。既然 $AA^T$是方阵，那么我们就可以进行特征分解，得到的特征值和特征向量满足下式：

$(AA^T)u_i=\lambda_iu_i$

这样我们就可以得到矩阵 $AA^T$的 $m$个特征值和对应的 $m$个特征向量 $u$了。将 $AA^T$的所有特征向量组成一个 $m\times m$的矩阵 $U$，就是我们SVD公式里面的 $U$矩阵了。一般我们将 $U$中的每个特征向量叫做 $A$的左奇异向量。

$U$和 $V$我们都求出来了，现在就剩下奇异值矩阵 $\Sigma$没有求出来了。由于 $\Sigma$除了对角线上是奇异值其他位置都是0，那么我们只需要求出每个奇异值 $\sigma$就可以了。

我们注意到：

$A=U\Sigma V^T\Rightarrow AV=U\Sigma V^TV\Rightarrow AV=U\Sigma\Rightarrow Av_i=\sigma_iu_i\Rightarrow \sigma_i = \frac{Av_i}{u_i}$

这样我们可以求出我们的每个奇异值，进而求出奇异值矩阵 $\Sigma$。

SVD计算举例

SVD的一些性质

对于奇异值,它跟我们特征分解中的特征值类似，在奇异值矩阵中也是按照从大到小排列，而且奇异值的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。也就是说，我们也可以用最大的k个的奇异值和对应的左右奇异向量来近似描述矩阵。也就是说：

$A_{m\times n}=U_{m\times m}\Sigma_{m\times n}V_{n\times n}^T\approx U_{m\times k}\Sigma_{k\times k}V_{k\times n}^T$

其中 $k$要比 $n$小很多，也就是一个大的矩阵 $A$可以用三个小的矩阵 $U_{m\times k},\Sigma_{k\times k},V_{k\times n}^T$来表示。如下图所示，现在我们的矩阵 $A$只需要灰色的部分的三个小矩阵就可以近似描述了。

由于这个重要的性质，SVD可以用于PCA降维，来做数据压缩和去噪。也可以用于推荐算法，将用户和喜好对应的矩阵做特征分解，进而得到隐含的用户需求来做推荐。同时也可以用于NLP中的算法，比如潜在语义索引（LSI）。

SVD小结

SVD作为一个很基本的算法，在很多机器学习算法中都有它的身影，特别是在现在的大数据时代，由于SVD可以实现并行化，因此更是大展身手。SVD的原理不难，只要有基本的线性代数知识就可以理解，实现也很简单因此值得仔细的研究。当然，SVD的缺点是分解出的矩阵解释性往往不强，有点黑盒子的味道，不过这不影响它的使用。