参考博客:https://zhuanlan.zhihu.com/p/35356992
https://zhuanlan.zhihu.com/p/25707761
https://www.zhihu.com/question/37096933/answer/70426653
首先正则化项一般是模型复杂度的单调递增函数,模型越复杂,正则化的值会越大。
正则化是结构风险最小化的一种策略实现,在经验风险最小化的基础上(也就是训练误差最小化),尽可能采用简单的模型,以此提高泛化预测精度。
经验风险较小的模型可能较复杂,这时会使正则化项变大。正则化的作用就是选择经验风险和模型复杂度同时较小的模型。
同时也符合奥卡姆剃刀原理:在所有可能选择的模型中,能够很好解释数据并且十分简单才是好的模型。通过降低模型的复杂度,得到更小的泛化误差,降低过拟合程度。
、