奇异值分解(singular value decomposition, SVD)是一种矩阵因子分解方法，是线性代数的概念，它在优化问题、最小二乘问题、广义逆矩阵及统计学习中被广泛使用，成为其重要工具。

奇异值分解

1 定义与性质
2 奇异值分解算法
- 2.1 算法一
- 2.2 算法二
3 奇异值分解代码

1 定义与性质

奇异值分解是指任意一个mxn矩阵，都可以表示为三个矩阵的乘积(因子分解)形式，分别是m阶正交矩阵、由降序排列的非负的对角线元素组成的mxn矩形对角矩阵和n阶正交矩阵。
奇异值：设A∈ $C^{m*n}_r$ （r>0)，求出 $AA^T$ 或 $A^TA$ 的特征值， $λ_1≥λ_2≥λ_3≥...≥λ_r>0,λ_{r+1}=λ_{r+2}=...λ_n=0$ ，则称σ= $\sqrtλ_i$ （i=1,2,3…n）为A的奇异值，σ= $\sqrtλ_i$ （i=1,2,3…r）为A的非零奇异值。
注： $AA^T$ 和 $A^TA$ 有相同的非零奇异值。
矩阵奇异值分解将矩阵分解为三个矩阵的乘积： $A=UΣV^T$
其中：
U和V是正交单位矩阵（酉矩阵），Σ为对角矩阵（不一定是方阵）。
矩阵U称为左奇异矩阵，U的列向量称为左奇异向量，V为右奇异矩阵,V的列向量称为右奇异向量。
Σ=diag( $σ_1,σ_2,...σ_n$ )，只有其主对角线有奇异值，其余均为0。
将上诉公式 $A=UΣV^T$ 改为A=U $\begin{pmatrix} Σ_1&O\\O&O\end{pmatrix}V^T$ ，其中 $Σ_1$ =diag( $σ_1,σ_2,...σ_r$ )

2 奇异值分解算法

例题：求矩阵A= $\begin{pmatrix} 1&2\\0&0\\0&0\end{pmatrix}$ 的奇异值分解。

2.1 算法一

（1）求正交矩阵V
可求得矩阵 $A^TA=$ $\begin{pmatrix}1&0&0\\2&0&0\end{pmatrix}$ $\begin{pmatrix}1&2\\0&0\\0&0\end{pmatrix}$ = $\begin{pmatrix}1&2\\2&4\end{pmatrix}$ 的特征值为 $λ_1=5,λ_2=0$ ,
对应特征向量为 $a_1=(1,2)^T$ ， $a_2=(2,-1)^T$
非零奇异值为 $σ=\sqrt5$ ，所以 $Σ_1$ =（ $\sqrt5$ ）
使得 $V^T(A^TA)V$ = $\begin{pmatrix}5&0\\0&0\end{pmatrix}$ 成立的正交矩阵 $V=(V_1,V_2$ )= $\begin{pmatrix}\frac{1}{\sqrt5}&\frac{2}{\sqrt5}\\\frac{2}{\sqrt5}&-\frac{1}{\sqrt5}\end{pmatrix}$
（2）求正交矩阵U
$U_1=AV_1Σ_1^{-1}$ = $\begin{pmatrix}1&2\\0&0\\0&0\end{pmatrix}$ $\begin{pmatrix}\frac{1}{\sqrt5}\\\frac{2}{\sqrt5}\end{pmatrix}$ $\begin{pmatrix}\frac{1}{\sqrt5}\end{pmatrix}$ = $\begin{pmatrix}1\\0\\0\end{pmatrix}$
取 $U_2=\begin{pmatrix}0&0\\1&0\\0&1\end{pmatrix}$ ，将 $U_1$ 扩张成 $R^3$ 的标准正交基 $U=(U_1,U_2)$ = $\begin{pmatrix}1&0&0\\0&1&0\\0&0&1\end{pmatrix}$
（3）分解
则A的奇异值分解为A=U $\begin{pmatrix} Σ_1&O\\O&O\end{pmatrix}V^T$ = $\begin{pmatrix}1&0&0\\0&1&0\\0&0&1\end{pmatrix}$ $\begin{pmatrix}\sqrt5&0\\0&0\\0&0\end{pmatrix}$ $\begin{pmatrix}\frac{1}{\sqrt5}&\frac{2}{\sqrt5}\\\frac{2}{\sqrt5}&-\frac{1}{\sqrt5}\end{pmatrix}$

2.2 算法二

（1）求正交矩阵U
可求得矩阵 $AA^T=$ $\begin{pmatrix}1&2\\0&0\\0&0\end{pmatrix}$ $\begin{pmatrix}1&0&0\\2&0&0\end{pmatrix}$ = $\begin{pmatrix}5&0&0\\0&0&0\\0&0&0\end{pmatrix}$ 的特征值为 $λ_1=5,λ_2=λ_3=0$ ,非零奇异值为 $σ=\sqrt5$ ，所以 $Σ_1=（\sqrt5$ ）
求得特征向量 $a_1=(1,0,0)^T$ ， $a_2=(0,1,0)^T$ ， $a_3=(0,0,1)^T$
则 $U=\begin{pmatrix}1&0&0\\0&1&0\\0&0&1\end{pmatrix}$
（2）求正交矩阵V
可求得矩阵 $A^TA=$ $\begin{pmatrix}1&0&0\\2&0&0\end{pmatrix}$ $\begin{pmatrix}1&2\\0&0\\0&0\end{pmatrix}$ = $\begin{pmatrix}1&2\\2&4\end{pmatrix}$ 的特征值为 $λ_1=5,λ_2=0$ ,
对应特征向量为 $a_1=(1,2)^T$ ， $a_2=(2,-1)^T$
使得 $V^T(A^TA)V$ = $\begin{pmatrix}5&0\\0&0\end{pmatrix}$ 成立的正交矩阵 $V=(V_1,V_2$ )= $\begin{pmatrix}\frac{1}{\sqrt5}&\frac{2}{\sqrt5}\\\frac{2}{\sqrt5}&-\frac{1}{\sqrt5}\end{pmatrix}$
（3）分解
则A的奇异值分解为A=U $\begin{pmatrix} Σ_1&O\\O&O\end{pmatrix}V^T$ = $\begin{pmatrix}1&0&0\\0&1&0\\0&0&1\end{pmatrix}$ $\begin{pmatrix}\sqrt5&0\\0&0\\0&0\end{pmatrix}$ $\begin{pmatrix}\frac{1}{\sqrt5}&\frac{2}{\sqrt5}\\\frac{2}{\sqrt5}&-\frac{1}{\sqrt5}\end{pmatrix}$
我觉得算法二套路简单，没有算法一那么花里胡哨，但所得结果需要检验。

3 奇异值分解代码

python代码：直接调用numpy的svd()

import numpy as np
A = np.array([[1,2],[0,0],[0,0]])
U,S,VT = np.linalg.svd(A)
print("返回结果：",np.linalg.svd(A))
print("U=",U)
print("S=",S)
print("V^T=",VT)

输出
在这里插入图片描述

这时我们发现矩阵S只显示对角元素的值，而矩阵中其它元素因为是0而被省略了。所以返回的时候，作为一维矩阵返回。如果我们想让矩阵S完整显示出来，可以添加以下代码进行处理

S2 = np.zeros(A.shape,S.dtype)
np.fill_diagonal(S2,S)
print("处理后的S=")
print(S2)

输出：
在这里插入图片描述
说明：
np.fill_diagonal(S2, S)的作用是将矩阵S2的对角元素设置为S的元素
np.zeros(A.shape,S.dtype)的作用是返回来一个和矩阵A形状相同的、和矩阵S数据类型相同的、用0填充的数组。

〖矩阵论笔记一〗奇异值分解（SVD）