Pseudo Inverse 伪逆

背景

当$A$为满秩方阵时，方程$Ax=b$有解$x=A^{-1}b$
当$A$不为满秩方阵时，方程无解，但是我们希望求得近似解$x^{\prime }=\mathrm{argmin}\Vert Ax-b\Vert =A^{+}b$，其中$A^{+}$为伪逆矩阵

行/列满秩的情形

列满秩

当$A$为列满秩矩阵时，$A^{T}A$可逆，$A^T(Ax-b)=0⟺A^{T}Ax=A^{T}b$有唯一解$x=(A^{T}A{)}^{-1}{A}^{T}b$，伪逆矩阵为$A^{+}=(A^{T}A{)}^{-1}{A}^T$

行满秩

这其实是列满秩的对偶情形，把“矩阵左乘列向量”调换为“矩阵右乘行向量”（如果想要几何理解，那就同时把几何意义也迁移过来），推导如上：
欲求
$$x^{\prime }=\underset{x}{\mathrm{argmin}}\Vert x^{T}A-b^T\Vert$$
这样的$x$满足
$$(x^{T}A-b^T)A^T=0$$
解得
$$x^T=b^T{A}^T(A{A}^T{)}^{-1}$$
因此伪逆矩阵为
$$A^{+}=A^T(A{A}^T{)}^{-1}$$

一般矩阵的情形

满秩分解表示

$A^T(Ax-b)=0⟺A^{T}Ax=A^{T}b$ 有多解，我们希望找出其中模长最小的解

考虑$A$的满秩分解$A=FG$

注：满秩分解
设$A\in C_r^{m\times n}$，则存在列满秩矩阵$B\in C_r^{m\times r}$，行满秩矩阵$C\in C_r^{r\times n}$，使得$A=BC$
可以证明：
（1）B的列向量为A的列空间的一组基
（2）C的行向量为A的行空间的一组基

首先考虑$b$到$A$的列空间的投影 $b^{\prime }=F(F^{T}F{)}^{-1}{F}^{T}b$
因此只需求解方程 $Ax=b^{\prime }$
这次方程是有解的，且解可能不唯一
假如我们已经知道一个特解$x_0$，那么$x_0$到$A$的行空间的投影$x^{\prime }=G^T(G{G}^T{)}^{-1}G{x}_0$就是模长最小的解（特解不用具体找，我们只需要知道它存在就行了）
$$\begin{array}{rl}A{x}_0& =b^{\prime }\\ FG{x}_0& =F(F^{T}F{)}^{-1}{F}^{T}b\\ (F^{T}F{)}^{-1}{F}^{T}FG{x}_0& =(F^{T}F{)}^{-1}{F}^{T}F(F^{T}F{)}^{-1}{F}^{T}b\\ G{x}_0& =(F^{T}F{)}^{-1}{F}^{T}b\end{array}$$

注：从第二行到第四行，实际在干的工作是，等式左右同时乘以$F$的伪逆$F^{+}$。
注意$F$是列满秩矩阵，因此$F^{+}=(F^{T}F{)}^{-1}{F}^T$

因此
$$\begin{array}{rl}{x}^{\prime }& =G^T(G{G}^T{)}^{-1}G{x}_0\\ & =G^T(G{G}^T{)}^{-1}(F^{T}F{)}^{-1}{F}^{T}b\end{array}$$
因此
$$A^{+}=G^T(G{G}^T{)}^{-1}(F^{T}F{)}^{-1}{F}^T$$

参考资料

• 伪逆矩阵
• 满秩分解
• $A^{T}A$可逆$⟺A$列满秩：链接

SVD表示

对于矩阵$A\in M_{m\times n}$, 存在正交方阵 $U\in M_{n\times n},V\in M_{n\times n}$，对角矩阵 $\Sigma \in M_{m\times n}$，满足：
$$A=U\Sigma V$$

注：
在几何推导版本的SVD中，$U$和$V$不是方阵，那就补齐一些元素把他们变成正交方阵，这些补齐的元素没有用，因为都会被$\Sigma$中的0项给消去。当$U$和$V$为正交方阵时，有良好的性质，便于推导。

扫描二维码关注公众号，回复： 12274605 查看本文章

目标依然是寻找$x^{\prime }=\mathrm{argmin}\Vert Ax-b\Vert$
$$\begin{array}{rl}\Vert Ax-b{\Vert }_2& =\Vert U\Sigma V^{T}x-b{\Vert }^2\\ & \stackrel{\times \Vert U^T{\Vert }^2=1}{=}\Vert \Sigma V^{T}x-U^{T}b{\Vert }^2\\ & =\sum _{i=1}^r{\left({\sigma }_i(V^{T}x{)}_i-(U^{T}b{)}_i\right)}^2+\sum _{i=r+1}^n(U^{T}b{)}_i^2\end{array}$$
当${\sigma }_i(V^{T}x{)}_i=(U^{T}b{)}_i,i=1,\cdots ,r$时，上式取最小值
即当$(V^{T}x{)}_i=\frac{1}{{\sigma }_i}(U^{T}b{)}_i$时
即当$V^{T}x={\Sigma }^{+}{U}^{T}b$时
即当$x=V{\Sigma }^{+}{U}^{T}b$时
其中
$${\Sigma }^{+}=\left[\begin{array}{ccccc}\frac{1}{{\sigma }_1}& 0& \cdots & 0& \\ 0& \frac{1}{{\sigma }_2}& \cdots & 0& \\ ⋮& ⋮& \ddots & 0& \\ 0& 0& \cdots & \frac{1}{{\sigma }_r}& \\ & & & & 0\end{array}\right]\in M_{n\times m}$$
因此：
$$A^{+}=V{\Sigma }^{+}{U}^T$$
如果用几何推导版本的SVD，也可以写成：
$$A^{+}=V{D}^{-1}{U}^T$$