作用
通过引入惩罚项,能够减少不重要的参数。通过比较经过不同程度缩减得到的系数,我们可以看出特征的重要程度(系数越大,对结果影响越大),从而更好地理解数据,有助于模型的改进。
方法
- 岭回归:线性回归时,如果特征比样本点还多(n>m),此时输入矩阵X将不是满秩矩阵,则无法求逆,最小二乘法(Ordinary Least Squares)将无法求解:
此时引入一个单位矩阵 λI ,从而使矩阵非奇异可以求逆:
OLS增加如下约束便取得与岭回归同样的效果:
- lasso:对回归系数做了限定:
在 λ 足够小时,一些系数会被缩减到零,便于更好地理解数据 - 向前逐步回归:与lasso效果相似,一种贪心算法,每一步都尽可能的减少误差。可以将系数与迭代次数的关系可视化,主要优点是,可以找出重要特征,及时停止对那些不重要特征的收集,便于理解现有模型并及时作出改进。
特点
可以将一些系数缩减成很小的值或直接缩减为零,会减小模型的复杂度,这是一个增加模型偏差的方法,所以应用缩减法时,模型的偏差会增加,方差会减小。