转载:机器学习中正则化项L1和L2的直观理解

转自:此处

对于机器学习中常碰到的正则化L1和L2一直比较模糊,偶然看到了一篇比较好的博客分享给大家。对原文我精简了下要点,同时文章底下的评论内容也可以看看解答自己的疑惑。

  • L1正则化 和 L2正则化,或者说 L1范数 和
    L2范数,常见机器学习的损失函数末尾,也就是惩罚项,说白了就是加上一个条件限制,限制某些参数的权重取值。
  • 对于线性回归模型,使用L1正则化的模型建叫做Lasso回归,使用L2正则化的模型叫做Ridge回归(岭回归)。
  • L1正则化是指权值向量w中各个元素的绝对值之和,通常表示为||w||1;L2正则化是指权值向量w中各个元素的平方和然后再求平方根(如Ridge回归的L2正则化项有平方符号),通常表示为||w||2,一般会在正则化前加上一个系数a,由用户自己定义。
  • 正则化的具体作用是什么?答案有两点:(在原文有详细的解释这两点内容)*
    L1正则化可以产生稀疏权值矩阵,即产生一个稀疏模型,可以用于特征选择*;
    L2正则化可以
    防止模型过拟合**(overfitting);一定程度上,L1也可以防止过拟合。

————————————————
版权声明:本文为CSDN博主「阿拉丁吃米粉」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/jinping_shi/article/details/52433975

发布了19 篇原创文章 · 获赞 22 · 访问量 2359

猜你喜欢

转载自blog.csdn.net/qq_28406091/article/details/105256996
今日推荐