机器学习中L1正则化和L2正则化有什么区别?

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/tiankong_/article/details/87340852

1.正则化的作用

  机器学习中,如果参数过多,模型过于复杂,容易产生过拟合状态,故正则化的提出是为了一定程度上避免过拟合。比如,常见的L1和L2正则化。

2.正则化公式

L1:

L1正则化是在原来的损失函数基础上加上权重参数的绝对值。

L2:

L2正则化是在原来的损失函数基础上加上权重参数的平方和。

它们的直观解释参照红色石头博客https://blog.csdn.net/red_stone1/article/details/80755144

3.两者的比较

1.L1可以产生0解,L2可以产生趋近0的解

2.L1获得稀疏解,L2获得非零稠密解

3.如果事先假定只有非常少数的特征是重要的,可以用L1

4.举例直观理解

猜你喜欢

转载自blog.csdn.net/tiankong_/article/details/87340852
今日推荐