ML之LiR之PLiR：惩罚线性回归PLiR算法简介、分类、代码实现之详细攻略
PLiR算法简介
PLiR算法分类
1、RiR VS Lasso回归
图4-1 及图4-2 的曲线集合代表RiR公式和Lasso回归公式的系数惩罚项，分别是岭惩罚项和套索惩罚项。在图4-1 中，代表系数惩罚项的曲线是以原点为中心的圆。平方和等于常量，限定了β1 以及β2 是位于圆上的点。常数惩罚项的曲线形状由使用的距离性质决定：基于平方和的惩罚项对应于圆（称作超球面或者高维空间的I2 球面），基于绝对值和的惩罚项对应于菱形（或者l1 球面）。小的圆（或者菱形）对应于较小的距离函数。形状虽然由惩罚函数的性质决定，但是每条曲线关联的值由非负参数λ 来决定。假设图4-1 中的2 条曲线分别对应平方和（β1、β2）为1.0 和2.0 的情况。如果λ =1，那么和2 个圆圈关联的惩罚项为1 和2。如果λ =10，那么关联的惩罚项为10 和20。图4-2 中的菱形结果也相同。增加λ 也会增加与图4-2 相关的惩罚项。
椭圆环（对应于预测错误平方）离不受限的最小值（图中的x 标记）越远，椭圆环也变得越大。正如OLS的公式所示，最小化这2个函数的和对应于在预测错误最小化以及系数惩罚最小化之间寻求一种平衡。较大的λ 值会更多地考虑最小化惩罚项（所有系数为0）。较小的λ 值会使得最小值接近于不受限的最小预测错误（图4-1 及图4-2 的x）。
这就是系数平方和的惩罚项与绝对值和的惩罚项之间的区别。RiR公式以及Lasso回归公式的最小值往往会落在惩罚常数曲线与预测错误曲线的切点上。图4-1 与图4-2 为相切的2个例子。重要一点是在图4-1 中，随着λ 变化以及最小点的移动，平方惩罚项产生的切点一般不会落在坐标轴上。β1 与β2 都不为0。相比之下，在图4-2 中，绝对值和惩罚项产生的切点落在了β2 的轴上。在β2 轴上，β1=0。