矩阵的奇异值与特征值

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_34886403/article/details/82730443

以Ax=b为例，x为m维向量，b为n维向量，m、n可以是相等，对于上面的理解：将x向量通过一系列的线性变换到b向量。“一系列的线性变换”就是通过左乘矩阵A来完成。

---

这样的线性变换的作用可以包括：旋转、缩放和投影。这三种类型效应。

例如：

$$\begin{gather*} \begin{bmatrix} 3 &0 \\ 0 & 1 \end{bmatrix}\quad\begin{bmatrix} x \\ y \end{bmatrix}=\begin{bmatrix} 3x \\ y \end{bmatrix} \end{gather*}$$
其几何意义为在水平x的方向上拉伸3倍，y方向保持不变，这就是缩放。
假如前面乘的不是一个对称矩阵，那么对应的几何意义就是缩放加旋转。
假如x向量是2x2的矩阵，通过左乘1x2的矩阵A，就可以将x投影成1x2的矩阵。

---

奇异值分解就是对应着三种效应的一种析构。它将矩阵A（就是那一系列线性变化）进行分解。$A=\mu\sum\sigma$,其中$\mu$和$\sigma$是两组正交单位向量，$\sum$是对角阵，对角值表示奇异值，它表示我们找到了$\mu$和$\sigma$这两组基。A矩阵的作用就是将一个向量从$\sigma$这组正交基向量的空间旋转到$\mu$这组正交基向量，并对每个方向进行了一定的缩放，缩放比例就是各个奇异值。
$Ax=\mu\sum\sigma x=b$,就是先将x旋转到$\sigma$的空间，然后根据对角阵$\sum$进行各个方向进行放缩，然后再旋转到$\mu$的空间。
如果$\mu$的维度比$\mu$大，则表示还进行可投影。奇异值分解就是将一个矩阵原本混合在一起的三种作用效果分解出来，

---

特征值分解是对旋转缩放两种效应的归并。（这里没有投影效应，因为有投影的矩阵一定不是方阵，不是方阵就没有特征值）。特征向量由$Ax=\lambda x$得到，它表示如果一个向量x处于A的特征向量方向，那么$Ax$对x的线性变换只是一个缩放。
假如x向量是A的特征向量，这表明向量x经过A的线性变换并没有改变原向量的方向。
对于实对称矩阵，特征向量正交（定理：实对称阵属于不同特征值的的特征向量是正交的.），我们可以写成$A=x\lambda x^T$,这样就类似奇异值分解，就是先将一个向量旋转到$x^T$空间，然后放缩$\lambda$倍，然后再旋转到$x$空间。由于是实对称矩阵，所以$x=x^T$。

---

总而言之，特征值分解和奇异值分解都是给一个矩阵(线性变换)找一组特殊的基，特征值分解找到了特征向量这组基，在这组基下该线性变换只有缩放效果。而奇异值分解则是找到另一组基，这组基下线性变换的旋转、缩放、投影三种功能独立地展示出来了