最小二乘法是统计学中重要的概念，这篇文章将讲解它拟合曲线的性质以及它与投影矩阵的联系
拿最小二乘法拟合直线来举例
将误差的平方和作为总误差，总误差最小时可求得最佳拟合直线
若设y为ax+b，分别对a和b求导，因为这种函数大多为凹函数，所以取偏导为0时有极值，这里不再展开。
这种求误差方式是从一维图像上求向量模的最小值，但我们可从高纬度来审视这种方法，先把y-yi列出来
ax1+b=y1-e1
ax2+b=y2-e2
ax3+b=y3-e3
ax4+b=y4-e4
行列式？那我们可以把它转换成矩阵
这不就是Ax=b吗，更准确的说y1，y2，y3，y4是我们的拟合对象，e1，e2，e3，e4是误差，这个公式是Ax=b-e
若Ax=b有解则e=0，此时的x就是我们所需的答案，但往往数据集要远超变量的数目，b在列空间之外，我们没法通过空间内的向量去拟合空间外的向量，所以我们要去拟合最接近b的向量，如果拿二维平面（列空间）和三位向量(b)来举例，最接近b的向量就是b在平面上的投影，此时e^2最小，它就是点到平面的最短距离的平方。
现在假设Ax-b垂直于列空间展开的平面,即Ax-b在A的零空间中，故AT(Ax-b)=0
ATAx=Ab—＞x=Ab*(ATA)^-1
此时x中的系数即为最佳拟合系数，这种矩阵算法给计算机提供了一个快速计算系数的方法