线性代数里的最小二乘法介绍

考虑超定方程组（超定指未知数小于方程个数）：

其中m代表有m个等式，n代表有 n 个未知数  ，m>n ；将其进行向量化后为：

  ，  ， 

显然该方程组一般而言没有解，所以为了选取最合适的  让该等式"尽量成立"，引入残差平方和函数S

（在统计学中，残差平方和函数可以看成n倍的均方误差MSE）

当  时，  取最小值，记作：

通过对  进行微分 [2]  求最值，可以得到：

如果矩阵  非奇异则  有唯一解 [3]  ：

参考文献：百度百科