矩阵对角化，SVD分解

矩阵对角化

矩阵的相似

设 $\mathbf{A}$、 $\mathbf{B}$ 为两个$n$阶矩阵，若存在可逆矩阵 $\mathbf{P}$，使得
$${\mathbf{P}}^{{}^{-1}}\mathbf{A}\mathbf{P}=\mathbf{B}$$
则称 $\mathbf{A}$ 与 $\mathbf{B}$ 相似。特别的，如果 $\mathbf{B}$ 为对角形矩阵，则称 $\mathbf{A}$ 可(相似)对角化

$n$阶矩阵$A$可对角化的充要条件：$\mathbf{A}$ 有$n$个线性无关的特征向量 ${\mathbf{X}}_1,{\mathbf{X}}_2,...{\mathbf{X}}_{\mathbf{n}}$。具体的证明我们不在此展开，只做几点说明：

1. 设 $n$ 阶矩阵 $\mathbf{A}$ 有 $m$ 个不同特征值（方程 $\left|\lambda \mathbf{E}-\mathbf{A}\right|=0$ 有 $m$ 个不同实根），则不同特征值对应的特征向量线性无关
2. 存在 $\mathbf{A}$ 属于某个特征值的线性无关特征向量
3. 当 ${\mathbf{P}}^{{}^{-1}}\mathbf{A}\mathbf{P}=diag({\lambda }_1，{\lambda }_2，...{\lambda }_n)$ 时，$diag({\lambda }_1，{\lambda }_2，...{\lambda }_n)$ 的$n$个主对角元是 $\mathbf{A}$ 的$n$个特征值（含重根）；$\mathbf{A}$ 分别属于 ${\lambda }_1，{\lambda }_2，...{\lambda }_n$ 的线性无关特征向量 ${\mathbf{X}}_1,{\mathbf{X}}_2,...{\mathbf{X}}_{\mathbf{n}}$ 构成了可逆矩阵 $\mathbf{P}$ 的列向量

实对称矩阵的对角化

考虑实对称矩阵的对角化，有如下结论：

1. $n$阶实对称矩阵 $\mathbf{A}$ 的特征值都是实数（证明思路：对表达式 $\mathbf{A}\mathbf{X}=\lambda \mathbf{X}$ 左乘复特征向量的共轭转置 ${\bar{\mathbf{X}}}^{\mathbf{T}}$，推出 $\lambda$ 为实数）
2. 实对称矩阵 $\mathbf{A}$ 不同特征值对应的特征向量正交（证明思路：列出 $\mathbf{A}$ 两组不同的特征方程，分别左乘另一个复特征向量的共轭转置，两端取转置后方程相减）
3. 属于 $\mathbf{A}$ 的同一个特征值的一组线性无关特征向量不一定正交，但可用施密特正交方法将其正交化
4. 一定存在正交矩阵 $\mathbf{Q}$ （满足 ${\mathbf{Q}}^{-1}={\mathbf{Q}}^T$）,使得 ${\mathbf{Q}}^{{}^{-1}}\mathbf{A}\mathbf{Q}$ 为对角形矩阵
5. $n$阶实对称矩阵 $\mathbf{A}$ 存在$n$个正交的单位特征向量

SVD分解

特征值分解只能用于可逆方阵，奇异值分解（SVD）适用于任意 $m\times n$ 矩阵，定义如下：

若 $\mathbf{A}$ 是一个 $m\times n$ 矩阵，则存在一个分解，使得
$$\mathbf{A}=\mathbf{U}\Sigma {\mathbf{V}}^{\ast }$$
其中 $\mathbf{U}$ 是 $m\times m$ 酉矩阵（满足 ${\mathbf{U}}^{-1}={\mathbf{U}}^{\ast }$）, $\Sigma$ 是 $m\times n$ 非负实对称矩阵，${\mathbf{V}}^{\ast }$ 是 $\mathbf{V}$ 的共轭转置，是 $n\times n$ 酉矩阵.

求解 $\mathbf{U}$, $\Sigma$, $\mathbf{V}$ 矩阵

给定一个 ${\mathbf{A}}_{\mathbf{m}\times \mathbf{n}}$ 的奇异值分解，有：
$${\mathbf{A}}^{\ast }\mathbf{A}=\mathbf{V}{\Sigma }^{\ast }{\mathbf{U}}^{\ast }\mathbf{U}\Sigma {\mathbf{V}}^{\ast }=\mathbf{V}({\Sigma }^{\ast }\Sigma ){\mathbf{V}}^{\ast }$$
$$\mathbf{A}{\mathbf{A}}^{\ast }=\mathbf{U}\Sigma {\mathbf{V}}^{\ast }\mathbf{V}{\Sigma }^{\ast }{\mathbf{U}}^{\ast }=\mathbf{U}(\Sigma {\Sigma }^{\ast }){\mathbf{U}}^{\ast }$$
关系式右边描述了关系式左边的特征值分解，于是：

• ${\mathbf{A}}^{\ast }\mathbf{A}$ 的$n$个特征向量（右奇异向量）组成了 $\mathbf{V}$ 的列向量
• $\mathbf{A}{\mathbf{A}}^{\ast }$ 的$m$个特征向量（左奇异值向量）组成了 $\mathbf{U}$ 的列向量
• $\Sigma$ 的非零对角元（非零奇异值）是 ${\mathbf{A}}^{\ast }\mathbf{A}$ 或 $\mathbf{A}{\mathbf{A}}^{\ast }$ 的非零特征值（为啥相同？）的平方根，即 $\Sigma ={\left[\begin{array}{cccc}{\sigma }_1& 0& 0& 0\\ 0& {\sigma }_2& \cdots & 0\\ 0& 0& \ddots & {\sigma }_r\\ ⋮& ⋮& ⋮& ⋮\end{array}\right]}_{m\times n}$，其中 $r=rank(\mathbf{A})$（思考为什么？）且 $m>r$，${\sigma }_i=\sqrt{{\lambda }_i}(i=1,2\cdots r)$

补充1：$\mathbf{A}{\mathbf{A}}^{\mathbf{T}}$ 性质

• 对称性：$({\mathbf{A}}^{\mathbf{T}}\mathbf{A}{)}^T=\mathbf{A}{\mathbf{A}}^{\mathbf{T}}$
• 半正定性：对任意非零向量 $x_{n\times 1}$ ，有 ${\mathbf{x}}^{\mathbf{T}}({\mathbf{A}}^{\mathbf{T}}\mathbf{A})\mathbf{x}=(\mathbf{A}\mathbf{x}{)}^T(\mathbf{A}\mathbf{x})⩾0$

补充2：奇异值分解 Vs.特征值分解

补充3：正定和半正定矩阵的性质

• 正定矩阵的行列式恒为正；
• 实对称矩阵$A$正定当且仅当$A$与单位矩阵合同；
• 对于$n$阶实对称矩阵$A$，下列条件是等价的：正定矩阵=一切主子式均为正=一切顺序主子式均为正=特征值均为正；
• 对于$n$阶实对称矩阵$A$，下列条件是等价的：半正定矩阵=所有的主子式非负（顺序主子式非负并不能推出矩阵是半正定的）

SVD分解的应用

参考链接

1. 中文维基 奇异值分解
2. 中文维基 可对角化矩阵
3. 博客园 奇异值分解(SVD)原理与在降维中的应用
4. 知乎 矩阵对角化与奇异值分解
5. Markdown语言教程
   Markdown 插入链接
   Markdown 编辑器语法指南
   MarkDown 插入数学公式实验大集合
   如何在Markdown中写公式