L1和L2正则化。L1为什么能产生稀疏值,L2更平滑

参考博客:https://zhuanlan.zhihu.com/p/35356992

     https://zhuanlan.zhihu.com/p/25707761

     https://www.zhihu.com/question/37096933/answer/70426653

  首先正则化项一般是模型复杂度的单调递增函数,模型越复杂,正则化的值会越大。

  正则化是结构风险最小化的一种策略实现,在经验风险最小化的基础上(也就是训练误差最小化),尽可能采用简单的模型,以此提高泛化预测精度。

  经验风险较小的模型可能较复杂,这时会使正则化项变大。正则化的作用就是选择经验风险和模型复杂度同时较小的模型。

  同时也符合奥卡姆剃刀原理:在所有可能选择的模型中,能够很好解释数据并且十分简单才是好的模型。通过降低模型的复杂度,得到更小的泛化误差,降低过拟合程度。

  、

  

猜你喜欢

转载自www.cnblogs.com/smartwhite/p/10064982.html