最小二乘法，岭回归，LASSO

1. 最小二乘法：基于均方误差最小化来进行模型求解的方法

求解过程：

参考：https://mp.csdn.net/postedit/79889335

2. 岭回归：在“最小二乘法”的基础上引入L2范数正则化

处处可导，因此岭回归有闭式解。

3. LASSO：在“最小二乘法”的基础上引入L1范数正则化

在0点位置不可导，因此LASSO没有闭式解。常用近端梯度下降（PGD）算法（周志华《机器学习》）和快速迭代收缩阈值（FISTA）算法（于剑《机器学习》）求解。

岭回归和LASSO求解过程参考：

http://freemind.pluskid.org/machine-learning/sparsity-and-some-basics-of-l1-regularization/#ed61992b37932e208ae114be75e42a3e6dc34cb3

L1范数和L2范数正则化都有助于降低过拟合风险，但是前者还会带来一个额外的好处：它比后者更易于获得“稀疏”（Sparse）解，即它求得的w会有更少的非零分量。

详情参考周志华《机器学习》P252