矩阵的广义逆

矩阵的广义逆

Penrose 方程

对于矩阵$A\in R^{m\times n}$，Penrose给出了四个条件：
$$\begin{gathered} AGA=A \\ GAG=A \\ (AG{)}^T=AG \\ (GA{)}^T=GA \end{gathered}$$
对于一个矩阵$G\in R^{n\times m}$，若其满足Penrose方程中的任意一个，即可成G为A的广义逆矩阵。

特别的，对于仅满足$AGA=A$的广义逆矩阵称为$A^{-}$,为A的减号逆。

对于满足$AGA=A，(AG{)}^T=AG$的广义逆矩阵称为$A_l^{-}$，为A的最小二乘逆。

对于满足$AGA=A，(GA{)}^T=GA$的广义逆矩阵记为$A_m^{-}$，为A的最小范数逆。

满足所有方程的广义逆矩阵为$A^{+}$，为加号逆或者Moore-Penrose广义逆。

广义逆矩阵$A^{-}$

对于矩阵$A\in R^{m\times n}$，如果存在非奇异矩阵P和Q使得
$$PAQ=\left(\begin{array}{cc}{I}_r& 0\\ 0& 0\end{array}\right)$$
则G是广义逆矩阵$A^{-}$的充分必要条件是：
$$G=Q\left(\begin{array}{cc}{I}_r& K\\ L& M\end{array}\right)P$$
$K,L,M$为任意矩阵，此外，还有：
r a n k ( A ) ≤ r a n k ( A − ) r a n k ( A A − ) = r a n k ( A − A ) = r a n k ( A ) Q − 1 A − P − 1 ∈ B { 1 } rank(A) ≤ rank(A^-)\\ rank(AA^−) = rank(A^−A) = rank(A)\\ Q^{−1}A^−P^{−1}\in B\{1\} rank(A)≤rank(A−)rank(AA−)=rank(A−A)=rank(A)Q−1A−P−1∈B{ 1}
用处：可以用减号逆直接得到相容方程组$Ax=b$的解，相容方程组即要求其有解，G是A的减号逆是$x=Gb$是相容方程$Ax=b$的解的充要条件。

Penrose定理：矩阵方程$AXB=C$有解的充分必要条件是：
$$A{A}^{-}C{B}^{-}B=C$$
在有解的情况下，其通解为：
$$X=A^{-}C{B}^{-}+Y-A^{-}AYB{B}^{-}$$
其中$Y\in R^{n\times p}$是任意的矩阵。

$Ax=b$有解的充要条件是$A{A}^{-}b=b$，此时$Ax=b$的通解为
$$x=A^{-}b+(I-A^{-}A)y$$
$y\in R^n$是任意的。

极小范数广义逆$A_m^{-}$

对于矩阵$A\in R^{m\times n}$，A的奇异值分解为：
$$A=U\left(\begin{array}{cc}\sum & 0\\ 0& 0\end{array}\right)V^T$$
则G是A 的极小范数广义逆$A_m^{-}$的充要条件为：
$$G=V\left(\begin{array}{cc}{\sum }^{-1}& K\\ 0& M\end{array}\right)U^T$$
K，M为任意矩阵。

G是A 的极小范数广义逆$A_m^{-}$的充要条件为：
$$GA{A}^T=A^T$$
对于矩阵$A\in R^{m\times n}$，$A^{-}$是A的任一广义逆矩阵，$A_m^{-}$是A的任一极小范数广义逆，则：
A { 1 , 4 } = { G ∈ R n × m ∣ G = A m − + Z ( I − A A − ) , Z ∈ R n × m } A\{1,4\}=\{G\in R^{n \times m}|G = A_m^- + Z(I - AA^-),Z \in R^{n\times m}\} A{ 1,4}={ G∈Rn×m∣G=Am−​+Z(I−AA−),Z∈Rn×m}
从以上我们已经知道$Ax=b$有解的充要条件是$A{A}^{-}b=b$，此时$Ax=b$的通解为
$$x=A^{-}b+(I-A^{-}A)y$$
$y\in R^n$是任意的，接下来在$Ax=b$中求解范数最小的解，即求广义逆矩阵G使得：
$$\Vert Gb{\Vert }_2=\begin{array}{c}{\min }_{Ax=b}\Vert x{\Vert }_2\end{array}$$
该式对于 G ∈ A { 1 , 4 } G\in A\{1,4\} G∈A{ 1,4}的$x=Gb$为$Ax=b$的极小范数解，且该解唯一。

最小二乘广义逆$A_l^{-}$

对于矩阵$A\in R^{m\times n}$，A的奇异值分解为：
$$A=U\left(\begin{array}{cc}\sum & 0\\ 0& 0\end{array}\right)V^T$$
则G是A 的最小二乘广义逆$A_l^{-}$的充要条件为：
$$G=V\left(\begin{array}{cc}{\sum }^{-1}& 0\\ L& M\end{array}\right)U^T$$
G是A 的最小二乘广义逆$A_l^{-}$的充要条件为：
$$A^{T}AG=A^T$$
如果线性方程组$Ax=b$不相容，则其没有通常意义下的解，存在残差$b-Ax$不等于0。可以求这样的解来使残差最小：
$$\min \Vert Ax-b{\Vert }_2$$
满足上式的x为不相容方程组$Ax=b$的最小二乘解。

G ∈ A { 1 , 3 } G\in A\{1,3\} G∈A{ 1,3}的$x=Gb$为$Ax=b$的最小二乘解，且该解必为相容线性方程组：
$$A^{T}Ax=A^{T}b$$
的解，反之亦然。

Moore-Penrose广义逆矩阵$A^{+}$

对于矩阵$A\in R^{m\times n}$，$A^{+}$存在且唯一，A的奇异值分解为：
$$A=U\left(\begin{array}{cc}\sum & 0\\ 0& 0\end{array}\right)V^T$$
则G是A 的最小二乘广义逆$A_l^{-}$的充要条件为：
$$G=V\left(\begin{array}{cc}{\sum }^{-1}& 0\\ 0& 0\end{array}\right)U^T$$
其满足：

这样计算的优点在于，对于相容方程组$Ax=b$，它的通解：

$$x=A^{+}b+(I-A^{+}A)y$$
对于不相容方程组$Ax=b$，它的最小二乘解：
$$x=A^{+}b+(I-A^{+}A)y$$
二者相同，对于不相容方程组，当y=0时，其是极小最小二乘解，即：
$$\Vert x_0\Vert \le \Vert x{\Vert }_2$$