最小二乘法的原理及实现

最近需要用到最小二乘法，尽管一直知道通过matlab直接就能实现，但是具体做法以及推导过程不清楚，心虚，以此博文记录一下。

回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。对于二维空间线性是一条直线；对于三维空间线性是一个平面，对于多维空间线性是一个超平面。 [4] 

最常用的是普通最小二乘法（ Ordinary Least Square，OLS）：所选择的回归模型应该使所有观察值的残差平方和达到最小。（Q为残差平方和）- 即采用平方损失函数。

步骤：

1、样本回归模型：

2、平方损失函数

 

3、 Q对两个待估参数的偏导数

 

4、解方程

求得使平方损失函数取得极值点的那两个系数。这是一次线性回归问题。

 

使用向量表示OLS（Ordinary Least Square, 普通最小二乘法），则有：

XTXβ=XTy

也即：
β=(XTX)-1XTy

其中是最小二乘估计的线性回归系数。

也就是说，通过原始的散点（Xi,Yi），计算得到的是系数向量 ，再进行计算时，使用向量 与X相乘，即可得到Y。

最小二乘法在OMP稀疏恢复算法中有用到。