最小二乘法(一元)推导

                                      最小二乘法(一元)推导

1 声明

本文的数据来自网络，部分代码也有所参照，这里做了注释和延伸，旨在技术交流，如有冒犯之处请联系博主及时处理。

2 最小二乘法简介

最小二乘法是一种优化的方法，它主要是通过最小化误差的平方和来做函数拟合的方法。

Excel版演示过程见 Excel一元线性回归示例​​​​​​​

3 最小二乘法一元推导

有如下回归模型

其中a，b，μ2  都是不依赖于x的未知参数，记ε=Y-（a+bx）。

这里令残差平方和的表达式为：

则取Q分别对a，b取偏导数，并令它们为零。

 

则得(重复的加换成乘，相同的加提取公因子)正规方程组

 

这里因为xi不全相同，（借助克拉姆法则）则正规方程组的系数行列式为

即方程组有唯一解。

 

则得到 a和b的值

 

成为Y对x的经验回归方程。

带入^a后，回归方程又可写成如下形式：

 

Qe称之为残差平方和，它是回归函数在xi处的值与xi处的yi偏差的平方和。