我们用最小二乘法，一般是在求解线性方程组时使用。往往这时的独立方程个数会多于自由变量的个数，导致没有解存在。
考察这样一个方程组：Ax=b，其中A是m行n列的矩阵，x和b均为n维向量。该方程组有解，充分必要于b可以由A的列向量组线性表出，对应的系数就是解向量x的各个分量。在该方程组无解时，b就不能用A的列向量组线性表出，也就是说b不在A的列空间里。
我们的目的就是，在无解的情况下，寻找到一个尽量“近似”的解。
为此，我们可以在A的列空间里找到一个向量y，使得 || b-y || 最小，那么y就是A的列空间里和b“差别最小”的向量。既然Ax=b无解，我们就用Ax=y来替代它。由于y是和b“差别最小”的向量，这样Ax=y得到的解，在某种程度上就是一个尽量“近似”的解。
又由几何知识知道，y就是b在A的列空间的投影。由此容易得到最小二乘解的方程：。
综上，最小二乘法的本质就是：求得右端项b在A的列空间里的投影y，并用y来代替b作为右端项，作为原方程的一个近似。
扫描二维码关注公众号，回复：
5590148 查看本文章
