机器学习中L1和L2正则化的理解
本文内容参考自：机器学习中正则化项L1和L2的直观理解
前言
在机器学习中，我们经常会看到，在损失函数的末尾会跟着一个额外项，一般称为L1正则化和L2正则化，或者L1范数和L2范数。
L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。
对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归）。
正则化的说明及其作用
-
L1正则化：指的是权值向量 ω \omega ω中各个元素的绝对值之和，通常表示为 ∣ ∣ ω ∣ ∣ 1 ||\omega||_1 ∣∣ω∣∣1
-
L2正则化：指的是权值向量 ω \omega ω中各个元素的平方和然后再求平方根，通常表示为 ∣ ∣ ω ∣ ∣ 2 ||\omega||_2 ∣∣ω∣∣2
在正则化前都会添加一个系数，Python的机器学习包sklearn中用 α \alpha α来表示，一些文章也用 λ \lambda λ表示。这个系数需要用户来指定，因此这里也是一个调参的重点，当这个系数太大可能会导致欠拟合，太小则可能无法解决过拟合的问题等等。
- L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择
- L2正则化可以防止模型过拟合；一定程度上，L1也可以防止过拟合。
稀疏模型与特征选择的关系
上面提到L1正则化有助于生成一个稀疏权值矩阵，进而可以用于特征选择。为什么要生成一个稀疏矩阵？
稀疏矩阵指的是很多元素为0，只有少数元素是非零值的矩阵，即得到的线性回归模型的大部分系数都是0. 通常机器学习中特征数量很多，例如文本处理时，如果将一个词组（term）作为一个特征，那么特征数量会达到上万个（bigram）。在预测或分类时，那么多特征显然难以选择，但是如果代入这些特征得到的模型是一个稀疏模型，表示只有少数特征对这个模型有贡献，绝大部分特征是没有贡献的，或者贡献微小（因为它们前面的系数是0或者是很小的值，即使去掉对模型也没有什么影响），此时我们就可以只关注系数是非零值的特征。这就是稀疏模型与特征选择的关系。
L1和L2正则化的直观理解
为什么L1正则化可以产生稀疏模型（L1是怎么让系数等于零的）
假设有如下的带有L1正则化的损失函数：
J = J 0 + α ∑ ω ∣ ω ∣ J=J_0+\alpha \sum_\omega |\omega| J=J0+αω∑∣ω∣
其中 J 0 J_0 J0是原始的损失函数， α ∑ ω ∣ ω ∣ \alpha \sum_\omega |\omega| α∑ω∣ω∣是L1正则化项， α \alpha α为正则化系数。
这里 J J J是带有绝对值符号的函数，因此 J J J是不完全可微的。机器学习的任务就是要通过一些方法（比如梯度下降）求出损失函数的最小值。当我们再原始损失函数 J 0 J_0 J0后添加L1正则化就相当于给 J 0 J_0 J0做了一个约束。令 L = α ∑ ω ∣ ω ∣ L=\alpha\sum_\omega|\omega| L=α∑ω∣ω∣，则 J = J 0 + L J=J_0+L J=J0+L，此时我们的任务为在 L L L约束下求出 J 0 J_0 J0取最小值的解。考虑二维的情况。 即只有两个权值 ω 1 和 ω 2 \omega^1和\omega^2 ω1和ω2，此时 L = ∣ ω 1 ∣ + ∣ ω 2 ∣ L=|\omega^1|+|\omega^2| L=∣ω1∣+∣ω2∣。
下图是在二维情况下，L1正则化的可视化图像。
我们可以看到，在这种情况下，原本最优解为圆心，约束后为与四边形的交点，很容易看到两者相交的区域是顶点的概率很大，此时凸点处 ω 1 或 ω 2 \omega^1或\omega^2 ω1或ω2其一必为0。这样解得 ω 1 或 ω 2 \omega^1或\omega^2 ω1或ω2为0的概率就很大，因此L1正则化的解具有稀疏性。扩展到高维同理。
为什么L2正则化可以防止过拟合
L2正则化的损失函数如下：
J = J 0 + α ∑ ω ω 2 J=J_0+\alpha \sum_\omega\omega^2 J=J0+αω∑ω2
同上可以画出在二维上的图形如下：
二维平面下，L2正则化的函数是一个圆，同样的，我们可以看到两者的交点一般为相切处（可能）， ω 1 或 ω 2 \omega^1或\omega^2 ω1或ω2其中一个为0的概率就变小很多。因此L2正则化不具有稀疏性。
为什么需要且为何能够正则化？
可以参考这篇博客：机器学习中 L1 和 L2 正则化的直观解释