Lasso回归的坐标下降法推导

                         Lasso回归的坐标下降法推导

目标函数

Lasso相当于带有L1正则化项的线性回归。先看下目标函数：

这个问题由于正则化项在零点处不可求导，所以使用非梯度下降法进行求解，如坐标下降法或最小角回归法。

坐标下降法

本文介绍坐标下降法。 
坐标下降算法每次选择一个维度进行参数更新，维度的选择可以是随机的或者是按顺序。 
当一轮更新结束后，更新步长的最大值少于预设阈值时，终止迭代。

下面分为两部求解：

RSS偏导

正则项偏导

次梯度方法(subgradient method)是传统的梯度下降方法的拓展，用来处理不可导的凸函数。 

整体偏导数

伪代码

概率解释

拉普拉斯分布

MAP推导