机器学习中L0, L1, L2正则项介绍

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/programmer_wei/article/details/52093281

版权声明：本文为原创文章：http://blog.csdn.net/programmer_wei/article/details/52093281
L0，L1，L2正则项是机器学习中常用的正则项，本文主要对这三种正则项做一个简单的介绍。

L0: L0主要是指参数中0的个数，希望参数中的大部分元素是0，希望参数是稀疏的，但是L0有一个缺点就是难以优化，所以就引出了L1正则项。

L1: L1正则项是指向量中各个元素绝对值之和，L0正则项的最优凸近似，它比L0要更容易求解，所以在实际使用中，L1的使用要多于L0的使用。

$$C=C_0 + \frac{\lambda}{n}{\left|{w}\right|}$$

L2: L2正则项是平时最常用的一种正则项了，为了防止过拟合现象的发生，L2（也叫权重衰弱）是一种最常用方式过拟合方法：

$$C=C_0 + \frac{\lambda}{2n}{\sum{w^2}}$$
L2可以使得W的每个元素都很小，都接近于0，但与L1范数不同，它不会让它等于0，而是接近于0。
人们普遍认为：更小的权值w，从某种意义上说，表示网络的复杂度更低，对数据的拟合刚刚好

一句话总结就是：L1会趋向于产生少量的特征，而其他的特征都是0，而L2会选择更多的特征，这些特征都会接近于0。L1在特征选择时候非常有用，而L2就只是一种规则化而已。

参考文章：
http://blog.csdn.net/zouxy09/article/details/24971995
http://www.mamicode.com/info-detail-517504.html
http://blog.csdn.net/acdreamers/article/details/46238119