SVD奇异值分解相关技术

重要说明：本文从网上资料整理而来，仅记录博主学习相关知识点的过程，侵删。

一、参考资料

Eigen 矩阵的SVD分解

奇异值分解（SVD）

二、相关介绍

1. 单位阵

主对角线全为1的方阵，称为单位阵，用 $\mathrm{I}$ 或 $\mathrm{E}$ 表示单位阵。

2. 对称矩阵

对称矩阵（Symmetric Matrices）是指以主对角线为对称轴，各元素对应相等的矩阵。

如果 $\mathrm{X}$ 是对称矩阵，对于任意的矩阵 ${\mathrm{AXA}}^{\mathrm{T}}$ 也是对称矩阵。

3. 奇异值

奇异值是矩阵里的概念，一般通过奇异值分解定理求得。设A为mxn阶矩阵，q=min(m, n)，AxA的q个非负特征值的算数平方根称为A的奇异值。

矩阵A的秩等于它的非零奇异值的个数。

三、特征值分解（EVD）

特征值分解

1. 特征值分解原理

注意：实对称矩阵才能进行特征值分解。

如果矩阵A是一个 $m\times m$ 的实对称矩阵（即 $A=A^T$），特征值分解是将一个矩阵A分解成：
$$A=Q\Sigma Q^T=Q\left[\begin{array}{cccc}{\lambda }_1& \cdots & \cdots & \cdots \\ \cdots & {\lambda }_2& \cdots & \cdots \\ & & & \\ \cdots & \cdots & \ddots & \cdots \\ \cdots & \cdots & \cdots & {\lambda }_m\end{array}\right]Q^T$$
其中，$\mathrm{Q}$ 称为特征矩阵，是标准正交阵，即有 $Q{Q}^T=I$。${\lambda }_i$ 称为特征值， $\Sigma$ 是特征值组成的对角矩阵，里面的特征值由大到小排列，这些特征值所对应的特征向量描述了矩阵变化方向。$q_i$ 是特征矩阵 $\mathrm{Q}$ 中的列向量，称为特征向量。

2. 特征值与特征向量

2.1 物理含义

特征值与特征向量的几何意义：矩阵和向量做乘法，向量会变成另一个方向或长度的新向量，主要发生旋转、伸缩的变量。如果矩阵乘以某些向量后，向量不发生旋转变换，只产生伸缩变换，那么就说这些向量是矩阵的特征向量，伸缩的比例是特征值。

2.2 特征矩阵与特征向量的关系

$A{q}_i={\lambda }_i{q}_i,q_i^T{q}_j=0(i\ne j)$

三、SVD奇异值分解

1. 问题引入

特征值分解对矩阵A的要求较高，要求被分解的矩阵为实对称矩阵，但现实中所遇到的矩阵一般不是实对称矩阵。当遇到一般性的矩阵，如一个mxn的矩阵A，是否能够进行特征值分解，能否用 $A=Q\Sigma Q^T$ 表示呢？答案是可以的，通过SVD奇异值分解。

2. SVD定义

SVD也是对矩阵进行分解，但是和特征分解不同，SVD并不要求要分解的矩阵为实对称矩阵。SVD奇异值分解是将一个非零的实数矩阵 $A_{m\times n}$分解成由三个矩阵乘积形式的运算，即进行矩阵的因子分解：
$$\mathrm{A}=\mathrm{U}\Sigma {\mathrm{V}}^{\mathrm{T}}$$
其中，$\mathrm{U}$ 称为左奇异矩阵，为mxm的单位正交阵，即有 ${\mathrm{UU}}^{\mathrm{T}}=\mathrm{I}$。$\mathrm{V}$ 称为右奇异矩阵，为nxn的单位正交阵，即有$\mathrm{V}{\mathrm{V}}^{\mathrm{T}}=\mathrm{I}$。$\Sigma$ 是 mxn 维的对角矩阵，其对角线上的数值即为奇异值，并按照降序排列，可以表示为：
$$\Sigma =\mathrm{diag}({\sigma }_1,{\sigma }_2,...,{\sigma }_{\mathrm{p}})={\left[\begin{array}{cccc}\sqrt{{\sigma }_1}& & & \\ & \sqrt{{\sigma }_2}& \ddots & \\ & & & \ddots \end{array}\right]}_{\mathrm{m}\times \mathrm{n}}\text{st.}{\sigma }_1\ge {\sigma }_2\ge ...\ge {\sigma }_{\text{p}}\ge 0$$
$\sqrt{{\sigma }_i}$ 为矩阵的奇异值。各矩阵的维度分别为 $\mathrm{U}\in {\mathrm{R}}^{\mathrm{m}\times \mathrm{m}}$，$\Sigma \in {\mathrm{R}}^{\mathrm{m}\times \mathrm{n}}$，$\mathrm{V}\in {\mathrm{R}}^{\mathrm{n}\times \mathrm{n}}$。

3. 奇异值求解

为求解上述 $\mathrm{U}$，$ \Sigma$，$\mathrm{V}$，可以利用如下性质：
$$\mathrm{A}{\mathrm{A}}^{\mathrm{T}}=\mathrm{U\Sigma }{\mathrm{V}}^{\mathrm{T}}(\mathrm{U\Sigma }{\mathrm{V}}^{\mathrm{T}}{)}^{\mathrm{T}}=\mathrm{U\Sigma }{\mathrm{V}}^{\mathrm{T}}\mathrm{V}{\mathrm{\Sigma }}^{\mathrm{T}}{\mathrm{U}}^{\mathrm{T}}=\mathrm{U\Sigma }{\mathrm{\Sigma }}^{\mathrm{T}}{\mathrm{U}}^{\mathrm{T}}$$

$${\mathrm{A}}^{\mathrm{T}}\mathrm{A}=(\mathrm{U\Sigma }{\mathrm{V}}^{\mathrm{T}}{)}^{\mathrm{T}}\mathrm{U\Sigma }{\mathrm{V}}^{\mathrm{T}}=\mathrm{V}{\mathrm{\Sigma }}^{\mathrm{T}}{\mathrm{U}}^{\mathrm{T}}\mathrm{U\Sigma }{\mathrm{V}}^{\mathrm{T}}=\mathrm{V}{\mathrm{\Sigma }}^{\mathrm{T}}\mathrm{\Sigma }{\mathrm{V}}^{\mathrm{T}}$$

其中，$\Sigma {\Sigma }^{\mathrm{T}}\in {\mathrm{R}}^{\mathrm{m}\times \mathrm{m}}$，${\Sigma }^{\mathrm{T}}\Sigma \in {\mathrm{R}}^{\mathrm{n}\times \mathrm{n}}$，从矩阵的角度上来讲，$\Sigma {\Sigma }^{\mathrm{T}}$和${\Sigma }^{\mathrm{T}}\Sigma$ 是不相等的，但它们在主对角线的奇异值是相等的，即有：
$$\Sigma {\Sigma }^{\mathrm{T}}={\left[\begin{array}{cccc}{\sigma }_1& & & \\ & {\sigma }_2& & \\ & & \ddots & \\ & & & \ddots \end{array}\right]}_{\mathrm{m}\times \mathrm{m}}$$

$${\Sigma }^{\mathrm{T}}\Sigma ={\left[\begin{array}{cccc}{\sigma }_1& & & \\ & {\sigma }_2& & \\ & & \ddots & \\ & & & \ddots \end{array}\right]}_{\mathrm{n}\times \mathrm{n}}$$

可以看到$\Sigma {\Sigma }^{\mathrm{T}}$和${\Sigma }^{\mathrm{T}}\Sigma$ 的形式非常接近，进一步分析，可以发现 ${\mathrm{AA}}^{\mathrm{T}}$ 和 ${\mathrm{A}}^{\mathrm{T}}\mathrm{A}$ 是对称矩阵，可以做特征值分解（EVD）。对 ${\mathrm{AA}}^{\mathrm{T}}$ 特征值分解，得到特征矩阵为 $\mathrm{U}$。对 ${\mathrm{A}}^{\mathrm{T}}\mathrm{A}$ 特征值分解，得到特征矩阵为 $\mathrm{V}$。对${\mathrm{AA}}^{\mathrm{T}}$ 和 ${\mathrm{A}}^{\mathrm{T}}\mathrm{A}$ 中的特征值求算数平方根，得到所有的奇异值。

由此可求得特征值为 $\sqrt{{\sigma }_1}\cdot \sqrt{{\sigma }_2},\cdots \sqrt{{\sigma }_{\mathrm{k}}}$。所以，矩阵A：
$$\mathrm{A}=\mathrm{U}\Sigma {\mathrm{V}}^{\mathrm{T}}=\left[\begin{array}{cccc}{\mathrm{u}}_1& {\mathrm{u}}_2& \cdots & {\mathrm{u}}_{\mathrm{m}}\end{array}\right]{\left[\begin{array}{cccc}\sqrt{{\sigma }_1}& & & \\ & \sqrt{{\sigma }_2}& & \\ & & \ddots & \\ & & & \ddots \end{array}\right]}_{\mathrm{m}\times \mathrm{n}}\left[\begin{array}{c}{\mathrm{v}}_1\\ {\mathrm{v}}_2\\ ⋮\\ {\mathrm{v}}_{\mathrm{n}}\end{array}\right]$$
在奇异值矩阵中奇异值按照从大到小排列，而且奇异值的减少特别的快。在很多情况下，前 10% 甚至 1%的奇异值的和就占了全部的奇异值之和的 99% 以上的比例。也就是说，我们也可以用最大的 k 个的奇异值和对应的左右奇异向量来近似描述矩阵。因此，进一步化简得到：
$$\mathrm{A}=\sqrt{{\sigma }_1}{\mathrm{u}}_1{\mathrm{v}}_1^{\mathrm{T}}+\sqrt{{\sigma }_2}{\mathrm{u}}_2{\mathrm{v}}_2^{\mathrm{T}}+\cdots +\sqrt{{\sigma }_{\mathrm{k}}}{\mathrm{u}}_{\mathrm{k}}{\mathrm{v}}_{\mathrm{k}}^{\mathrm{T}}$$
即：
$$\mathrm{A}={\lambda }_1{\mathrm{u}}_1{\mathrm{v}}_1^{\mathrm{T}}+{\lambda }_2{\mathrm{u}}_2{\mathrm{v}}_2^{\mathrm{T}}+\cdots +{\lambda }_{\mathrm{k}}{\mathrm{u}}_{\mathrm{k}}{\mathrm{v}}_{\mathrm{k}}^{\mathrm{T}}$$
矩阵A被分解为k个小矩阵，每个矩阵都是 $\lambda$ 乘以${\mathrm{u}}_{\mathrm{i}}{\mathrm{v}}_{\mathrm{i}}^{\mathrm{T}}$。此时可以看到，若入取值较大，其对应的矩阵在矩阵A的占比也大，所以取前面主要的$\lambda$ 来近似表示矩阵A，矩阵A可以表示为：
$${\mathrm{A}}_{\mathrm{m}\times \mathrm{n}}={\mathrm{U}}_{\mathrm{m}\times \mathrm{m}}{\mathrm{\Sigma }}_{\mathrm{m}\times \mathrm{n}}{\mathrm{V}}_{\mathrm{n}\times \mathrm{n}}^{\mathrm{T}}\approx {\mathrm{U}}_{\mathrm{m}\times \mathrm{k}}{\mathrm{\Sigma }}_{\mathrm{k}\times \mathrm{k}}{\mathrm{V}}_{\mathrm{k}\times \mathrm{n}}^{\mathrm{T}}$$
其中，k要比n小很多，也就是一个大的矩阵 A 可以用三个小的矩阵 ${\mathrm{U}}_{\mathrm{m}\times \mathrm{k}}$ , ${\Sigma }_{\mathrm{k}\times \mathrm{k}}$，${\mathrm{V}}_{\mathrm{k}\times \mathrm{n}}^{\mathrm{T}}$ 近似表示。

计算量对比

原矩阵计算量：$M\times N$。
SVD分解之后的计算量：$M\times k+k\times k\times N=k(M+N+k)$。
一般情况下，$M\times N\gg k(M+N+k)$，这使得数据的存储量和计算量都远小于原始矩阵。

4. SVD分解举例

$$\mathrm{A}=\left[\begin{array}{ccc}0& & 1\\ 1& & 1\\ 1& & 0\end{array}\right]$$

求解 ${\mathrm{AA}}^{\mathrm{T}}$ 和 ${\mathrm{A}}^{\mathrm{T}}\mathrm{A}$：
$${\text{A}}^{\text{T}}\text{A}=\left[\begin{array}{ccc}0& 1& 1\\ 1& 1& 0\end{array}\right]\left[\begin{array}{cc}0& 1\\ 1& 1\\ 1& 0\end{array}\right]=\left[\begin{array}{cc}2& 1\\ 1& 2\end{array}\right]$$

$${\mathrm{AA}}^{\mathrm{T}}=\left[\begin{array}{cc}0& 1\\ 1& 1\\ 1& 0\end{array}\right]\left[\begin{array}{ccc}0& 1& 1\\ 1& 1& 0\end{array}\right]=\left[\begin{array}{ccc}1& 1& 0\\ 1& 2& 1\\ 0& 1& 1\end{array}\right]$$

进而求 ${\mathrm{AA}}^{\mathrm{T}}$ 的特征值和特征向量：
$${\lambda }_1=3;{\mathrm{v}}_1=\left[\begin{array}{c}1/\sqrt{2}\\ 1/\sqrt{2}\end{array}\right]$$

$${\lambda }_2=1;{\mathrm{v}}_2=\left[\begin{array}{c}1/\sqrt{2}\\ -1/\sqrt{2}\end{array}\right]$$

${\mathrm{A}}^{\mathrm{T}}\mathrm{A}$ 的特征值和特征向量：
$${\lambda }_1=3;{\mathrm{v}}_1=\left[\begin{array}{c}1/\sqrt{6}\\ 2/\sqrt{6}\\ 1/\sqrt{6}\end{array}\right]$$

$${\lambda }_2=1;{\mathrm{v}}_2=\left[\begin{array}{c}-1/\sqrt{2}\\ 0\\ 1/\sqrt{2}\end{array}\right]$$

$${\lambda }_3=0;{\mathrm{v}}_3=\left[\begin{array}{c}1/\sqrt{3}\\ -1/\sqrt{3}\\ 1/\sqrt{3}\end{array}\right]$$

利用 ${\sigma }_{\mathrm{i}}=\sqrt{{\lambda }_{\mathrm{i}}}$，可得奇异值为 $\sqrt{3}$ 和 1。最终得矩阵A的奇异值分解为：
$$\mathrm{A}=\mathrm{U}\Sigma {\mathrm{V}}^{\text{T}}=\left[\begin{array}{ccccc}1/\sqrt{6}& & -1/\sqrt{2}& & 1/\sqrt{3}\\ 2/\sqrt{6}& & 0& & -1/\sqrt{3}\\ 1/\sqrt{6}& & 1/\sqrt{2}& & 1/\sqrt{3}\end{array}\right]\left[\begin{array}{ccc}\sqrt{3}& & 0\\ 0& & 1\\ 0& & 0\end{array}\right]\left[\begin{array}{ccc}1/\sqrt{2}& & 1/\sqrt{2}\\ 1/\sqrt{2}& & -1/\sqrt{2}\end{array}\right]$$

5. 用Eigen库实现SVD分解

#include <iostream>
#include <Eigen/Dense>

using namespace std;
using namespace Eigen;

int main()
{
	MatrixXf m = MatrixXf::Zero(3, 2);
	m << 0,1,1,1,1,0;
	cout << "Here is the matrix m:" << endl << m << endl;
	JacobiSVD<MatrixXf> svd(m, ComputeFullU | ComputeFullV);
	cout << "Its singular values are:" << endl << svd.singularValues() << endl;
	cout << "Its left singular vectors are the columns of the thin U matrix:" << endl << endl << svd.matrixU() << endl;
	cout << "Its right singular vectors are the columns of the thin V matrix:" << endl << endl << svd.matrixV() << endl;
	system("pause");
	return 0;
}

输出结果

Here is the matrix m:
0 1
1 1
1 0
Its singular values are:
1.73205
      1
Its left singular vectors are the columns of the thin U matrix:

   0.408248   -0.707107     0.57735
   0.816496 5.96046e-08    -0.57735
   0.408248    0.707107     0.57735
Its right singular vectors are the columns of the thin V matrix:

 0.707107  0.707107
 0.707107 -0.707107

6. 对图像进行SVD分解

对图片进行奇异值分解（SVD）

SVD（奇异值分解）小结

import cv2
import numpy as np
import matplotlib.pyplot as plt

# 读取图像（路径不能有中文）
img = cv2.imread('img.jpg')
# 原图大小为 h * w * c
h, w, c = img.shape

def decompose(img):
    # 将图片转换成 h * wc
    img_temp = img.reshape(h, w * c)
    # 奇异值分解
    u, sigma, vt = np.linalg.svd(img_temp)
    return u, sigma, vt

def rebuild(u, sigma, vt, sval_num):
    # 每个矩阵取前 500 个奇异值，近似得到原图
    img_temp = (u[:, 0:sval_num]).dot(np.diag(sigma[0:sval_num])).dot(vt[0:sval_num, :])
    # 转换为原图像的大小
    svd_img = img_temp.reshape(h, w, c)
    # 注意需要转换成uint8
    return np.array(svd_img, dtype=np.uint8)

u, sigma, vt = decompose(img)
svd_img = rebuild(u, sigma, vt, 500)

原图

SVD得到的

7. 总结

奇异值可以看作是一个矩阵代表值，或者说，奇异值能够代表这个矩阵的信息。当奇异值越大时，它代表的信息越多。因此，我们取前面若干个最大的奇异值，基本上可以还原出数据本身。