子空间投影

如何解一个无解的方程 $Ax=b$ 的解

基础的的解决方案是：

$A^TA \hat{x} = A^T b$

rank ($A^TA$) = rank($A$)， Null($A^TA$)= Null($A$)

换句话说，如果A是列满秩的，即零空间里只有0向量，那么$A^TA$可逆的。

---

此时，子空间投影可以被运用求解近似解。

在一维情况下，投影变量 $p$, 投影矩阵 $P$，被投影变量 $b$， 投影方向 $a$， 那么有：

$p=Pb=\frac{aa^T}{a^Ta}b$

在多维情况下，投影变量用 $A$ 替代， 那么投影变换则为：

$p=Pb=A(A^TA)^{-1}A^Tb$

注意的是，这里中间的括号是不能拆开的，因为 $A$ 不一定是可逆方阵，如果 $A$ 为可逆方阵，那么投影矩阵为单位矩阵 $I$，即方程组本身有解，无需投影 $b$ 也在 $A$ 的列空间里。