机器学习面试题之——简单介绍最小二乘

1、常用到的最小二乘场合：最小二乘法直线拟合，最小二乘法多项式（曲线）拟合，机器学习中线性回归的最小二乘法，系统辨识中的最小二乘辨识法，参数估计中的最小二乘法，等等。

2、为什么用最小二乘：相比于绝对值的方法，平方和的方法可以得到更短的距离，使得拟合函数更接近于目标函数。从范数的角度考虑这个问题，绝对值对应的是1范数，最小二乘对应的就是2范数。

3、和梯度下降法比较

相同点：都是在已知数据的框架内，使得估算值与实际值的总平方差尽量更小，估算值与实际值的总平方差的公式为：

                             

   其中为第i组数据的independent variable，为第i组数据的dependent variable，为系数向量。

不同点：1.实现方法和结果不同：最小二乘法是直接对求导找出全局最小，是非迭代法（但是当的逆无法求得时，方程无解，则最小二乘法不可用）。而梯度下降法是一种迭代法，先给定一个，然后向下降最快的方向调整，在若干次迭代之后找到局部最小。梯度下降法的缺点是到最小点的时候收敛速度变慢，并且对初始点的选择极为敏感，其改进大多是在这两方面下功夫。

参考：

http://blog.csdn.net/lotus___/article/details/20546259

http://blog.sina.com.cn/s/blog_7445c2940102wjz8.html