最小二乘解一定存在

$\quad$我们知道最小二乘解的方程是： $A^TAx=A^Tb$ $\quad$关于这个方程解的存在性，很多人（在csdn博客上）给出的描述是：“如果 $A^TA$这个矩阵是可逆的，那么解存在，为 $(A^TA)^{-1}A^Tb$.”
$\quad$但这样的描述并不完全准确。实际上，不论 $A$是怎样的矩阵，最小二乘解都是存在的.

$\quad$证明：易知 $A^TA$和 $A^T$具有相同的列空间。关于这点，可以参考[我的另一篇博客].(https://blog.csdn.net/Europe233/article/details/86720864)
$\quad$而右端项 $A^Tb$是 $A^T$列空间的一个元素；另一方面，由于 $x$可任取，左端项 $A^TAx$可以取到 $A^TA$列空间中任意一个元素。综上，一个存在某个 $x^*$使得等式 $A^TAx^*=A^Tb$成立，也即最小二乘解一定存在。