概念
最小二乘法是一种优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便的求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。
最小二乘法的原则是残差和最小。
过程（一元）
样本回归模型，ei为误差：
平方损失函数：
这就是最小二乘法的解法，就是求得平方损失函数的极值点。
最小二乘法与梯度下降法
本质相同
但是实现方法不同：最小二乘法是直接求导找出全局最小，而非迭代法。
而梯度下降是一种迭代法，先给定一个参数，然后朝误差函数下降最快的方向调整参数，在若干次迭代之后找到局部最小。
梯度下降的缺点是到最小点的时候收敛速度变慢，并且对初始点的选择极为敏感，其改进大多是在这两方面下功夫。