【机器学习笔记】线性回归之最小二乘法

线性回归

   线性回归（Linear Regreesion）就是对一些点组成的样本进行线性拟合，得到一个最佳的拟合直线。

最小二乘法

   线性回归的一种常用方法是最小二乘法，它通过最小化误差的平方和寻找数据的最佳函数匹配。

代数推导

   假设拟合函数为 $y=ax+b$，对于任意样本点 $(x_{i},y_{i})$，误差为 $e=y_{i}-(ax_{i}+b)$。当损失函数 $L=\sum_{i=1}^{n}{e_{i}}^2$为最小时拟合度最好，即 $\sum_{i=1}^{n}(y_{i}-ax_{i}-b)^2$最小。
   函数 $L=\sum_{i=1}^{n}(y_{i}-ax_{i}-b)^2$分别是关于 $a$和 $b$的二次抛物线，没有最大值，所以当 $L$分别关于 $a$和 $b$的偏导等于 $0$时有最小值。
   分别求出一阶偏导
$\frac{\partial{S}}{\partial{a}}=-2(\sum_{i=1}^{n}x_{i}y_{i}-b\sum_{i=1}^{n}x_{i}-a\sum_{i=1}^{n}{x_{i}}^2)\\ \frac{\partial{S}}{\partial{b}}=-2(\sum_{i=1}^{n}y_{i}-nb-a\sum_{i=1}^{n}x_{i})\\$
   让上式都等于 $0$，并且有 $n\overline{x}=\sum_{i=1}^{n}x_{i}$， $n\overline{y}=\sum_{i=1}^{n}y_{i}$。得到解为
$a=\frac{\sum_{i=1}^n(x_{i}-\overline{x})(y_{i}-\overline{y})}{\sum_{i=1}^n(x_{i}-\overline{x})^2}， b=\overline{y}-a\overline{x}$