Ridge Regression

关键字：惩罚项

待学习：交叉验证

前言：在《线性回归（内含最小二乘法）》中，提到了最小二乘法的“多重共线性”问题。就是说X病态的话w会让y对x非常敏感，不难推断，这个时候w肯定比较大所以才产生这样的结果。所以如果限制了w的大小的话，会让y对x不那么敏感，这种方法就很适合X病态导致w很大的时候使用。

1.基本思想

    我们基于推出，所以可以考虑改变目标函数，在它的基础上考虑正则化方法，即加上惩罚项。

 2.基于惩罚项的分类

 2.1 脊回归Ridge Regression

    在目标函数（损失函数）上加上w的l2范数，即二范数，此时目标函数就是，系数是控制的系数，>=0。的大小可以看出惩罚项的作用大小。越大,w越小。越小，w越大。

    的选择经常用交叉验证实现，这时不需要人工调整了，会自动选择。

2.2 套索回归Lasso Regression

    此时目标函数加上w的l1范数，即一范数，此时目标函数就是

侵删，参考：https://blog.csdn.net/daunxx/article/details/51578787