线性代数笔记15：SVD分解

本节在共轭转置的基础上介绍奇异值和奇异值分解。

谱分解

共轭转置

矩阵$A$的共轭转置$A^H$（又称Hermite共轭、Hermite转置）定义为：

$$A^H = (\bar A) ^T = \bar {A^T}$$

酉矩阵

设$U \in C^{n\times n}$阶复方阵，若$U^HU = I$，则称$U$是酉矩阵。

Hermite矩阵

设$A\in C^{n\times n}$，如果$A^H = A$，那么$A$为Hermite矩阵；

如果$A^H = - A$，则$A$为反Hermite矩阵。

Schur定理

任何一个$n$阶复矩阵都酉相似于一个上三角矩阵，则存在一个$n$阶酉矩阵$U$和一个$n$阶上三角矩阵$R$使得：

$$U^HAU = R$$

其中$R$的对角元是$A$的特征值。

正规矩阵

设$A \in C^{n\times n}$，如果：

$$AA^H = A^HA$$

则称$A$为正规矩阵。

可以证明，对角矩阵，Hermite矩阵，反Hermite矩阵，酉矩阵都是正规矩阵。

酉相似条件

$n$阶矩阵$A$酉相似于一个对角矩阵的充分必要条件为$A$是正规矩阵。

因此，若$A$是$n$阶Hermite矩阵，则$A$必酉相似与实对角矩阵，即存在$n$阶酉矩阵$U$使得：

$$U^HAU = \Lambda$$

因为$A^H = A$，则$\Lambda ^H = \Lambda$，因此$\Lambda$是实对角矩阵。

谱分解

Hermite的谱分解式

由上文可知，若$A$为Hermite矩阵，则：

$$U^HAU = \Lambda$$

奇异值分解

奇异值定义

设$A \in C^{n\times n}$，如果存在非负实数$\sigma$和非零向量$u\in C^n,v\in C^m$，使得：

$$Au = \sigma v , A^H v = \sigma u$$

则称$\sigma$ 为$A$的奇异值，$u$和$v$分别称为$A$对应于奇异值$\sigma$的右奇异向量和左奇异向量。

$$A^H A u = \sigma A^H v = \sigma ^2 u$$

因此$\sigma ^2$是$A^HA$的特征值，也是$AA^H$的特征值，而$u$和$v$分别是$A^HA$和$AA^H$对应于$\sigma ^2$的特征向量。

引理

1. 设$A \in C^{m\times n}$，则

   $$rank(A^HA) = rank(AA^H ) = rank(A)$$

2. 设$A \in C^{m\times n}$，则

   • $A^HA$与$AA^H$的特征值均为非负实数
   • $A^HA$与$AA^H$的非零特征值相同，并且非零特征值个数等于$rank(A)$

定理

1. 设$A$是正规矩阵，则$A$的奇异值为$A$的特征值的模。

2. 设$A$是$m\times n$矩阵，且$rank(A) = r$，则存在$m$阶酉矩阵$U$和$n$阶酉矩阵$V$使得：

   $$U^H AV = \begin{pmatrix}\sum &0 \\0 & 0\end{pmatrix}$$

   $\sum = diag(\sigma_1,...,\sigma_r)$，且$\sigma_1 \ge ...\ge \sigma_r > 0$为矩阵$A$的奇异值

   这个式子就被称为奇异值分解。

证明

易得$A^HA$为Hermite矩阵，$A^HA$的特征值$\lambda^2\ge\lambda^2\ge...>0$

由Schur定理可得，存在$n$阶酉矩阵，使得：

$$U^H(A^HA)V =\begin{pmatrix}\sum^2 &0 \\0 & 0\end{pmatrix}$$

将$V$分解为$V = (V_1,V_2),V_1 = C^{n\times r},V_2 = C^{n\times(n-r)}$

重写上式为：

$$A^HA(V_1,V_2)= (V_1,V_2)\begin{pmatrix}\sum^2 &0 \\0 & 0\end{pmatrix}$$

$$\left \{ \begin{array}{c}A^HAV_1 = V_1 \sum^2 \Rightarrow V_1^HA^HAV_1 =\sum^2 \Rightarrow (AV_1\sum^{-1})^H (AV_1\sum^{-1}) = I\\ A^HAV_2 = 0 \Rightarrow V_2^HA^HAV_2 = 0 \Rightarrow (AV_2)^H(AV_2) =0\end{array}\right.$$

因此，$AV_2 = 0,U_1 = AV_1\sum^{-1},$则$U_1$是酉矩阵：$U_1^HU_1 = I$。

因此$U_1$的前$r$列两两正交且为单位向量，将其扩充为$C^m$的标准正交基，$U_2 = (u_{r+1},...,u_m)$

则$U = (U_1,U_2)$是$m$阶酉矩阵，$U_1^HU_1 = I，U_2^HU_1 = 0$

$$U^H(A^HA)V = U^H (AV_1,AV_2) = \begin{pmatrix}U_1^H\\U_2^H \end{pmatrix} (U_1\sum,0) = \begin{pmatrix}\sum^2 &0 \\0 & 0\end{pmatrix}$$

因此：

$$A = U\begin{pmatrix}\sum^2 &0 \\0 & 0\end{pmatrix} V^H$$

$V$为$A^HA$的r个非零特征值对应的特征向量并单位化

$U$为$AA^H$的r个非零特征值对应的特征向量并单位化

思考

1. 对于正定对称矩阵而言，奇异值分解和对角化相同

2. 特征值分解必须要求$A$为方阵，而奇异值分解不需要

3. $A^HA$或$AA^H$的特征值为$A$的奇异值的平方。

4. 我们可以根据对$A^HA$和$AA^H$求特征值和特征向量，从而得到$V$、$U$、$\sum$。

   ​