根据数据的稀疏性进行正则化模型的方法叫做LASSO算法(least absolute shrinkage and selection operator)
1. 准备数据
2.导入LASSO模型
3. 喂入数据
我们发现,现在有9个非零参数
4. 将参数置为0,等效于LinearRegression模型
这个时候,非零参数是500个。
扫描二维码关注公众号,回复:
5973491 查看本文章
附工作原理
在LinearRegression中,我们最小化的是均方误差,在LASSO模型中引入了稀疏性的概念。
LASSO以参数作为坐标轴绘制了一个超球体,异常值在边缘上,这些参数多数为0.
其核心还是抓主要的特征。
确定超参数lambda
lambda的确定可以通过交叉验证进行确定。
这里默认使用留一法进行交叉验证
查看参数:
自动找到的最优参数个数:
LASSO的其它用法
Lasso在上文中在众多特征中选了少数的几个作为有效特征,我们可以用它实现特征选取:
首先建立掩模,然后过滤数据