7.4.3 矩阵极分解和平方根分解

7.4.3 矩阵极分解和平方根分解

当矩阵 $A$ 是方阵时

$A = U\Sigma V^T = UV^TV\Sigma V^T = (UV^T)(V\Sigma V^T)=QS \\ Q = UV^T 是正交矩阵，S=V\Sigma V^T是对称半正定矩阵，\\即对任意向量 \mathbf{x}，有 \mathbf{x}^TS\mathbf{x} \ge 0 成立，因为对角阵 \Sigma 对角元素非负. \\又 A = U\Sigma V^T = U\Sigma U^TUV^T = (U\Sigma U^T)(UV^T)=KQ$

矩阵极分解 任意方阵可分解为 $A = QS$ 和 $A = KQ$ 正交阵和对称半正定矩阵乘积。
其中 $Q$ 是最接近矩阵 $A$ 的正交矩阵，即 $\|Q-A\|$ 最小。
对称半正定矩阵 $S^2 = (V\Sigma V^T)(V\Sigma V^T) = V\Sigma^2 V^T = A^TA$ ，故 $S = \sqrt{A^TA}$ 称矩阵 $S$ 为对称半正定矩阵 $A^TA$ 的平方根。
同理 $K = \sqrt{AA^T}$ 称矩阵 $K$ 为对称半正定矩阵 $AA^T$ 的平方根。

对称半正定矩阵平方根分解 任意对称半正定矩阵可分解为 $S = FF$ ，其中 $F$ 为半正定矩阵。
证：根据对称矩阵谱分解定理 $S=Q\Lambda Q^T$ ，当 $S$ 是对称半正定矩阵时，对角阵 $\Lambda$ 对角元素非负。

$S=Q\Lambda Q^T = Q\Sigma \Sigma Q^T = Q\Sigma Q^T Q \Sigma Q^T = FF \\ F = Q\Sigma Q^T, \Sigma = \sqrt{\Lambda} = diag(\sqrt{\lambda_1},\cdots,\sqrt{\lambda_n})$

所以对称半正定矩阵可以看作是实数中的非负数，有平方根。

对称半正定矩阵平方根分解还有一种三角分解法，根据高斯消元法得到。

对称半正定矩阵平方根分解 任意对称半正定矩阵可分解为 $S = LL^T$ ，其中 $L$ 为下三角矩阵，对角元素为负。
证：根据任意方阵的 LDU 分解，有 $S = LDU$ ，其中 $L$ 是下三角单位矩阵， $D$ 是上三角单位矩阵， $D$ 是对角阵。当 $S$ 是对称半正定矩阵时，有 $U=L^T$，对角阵 $D$ 对角元素非负。
$S = L' D L'^T = L' \sqrt{D} \sqrt{D} L'^T = LL^T \\ L = L' \sqrt{D}$

$S = LL^T$ 称为 Cholesky 分解。