Sci-learn LASSO算法进行线性回归

根据数据的稀疏性进行正则化模型的方法叫做LASSO算法(least absolute shrinkage and selection operator)

1. 准备数据

2.导入LASSO模型

 

3. 喂入数据

我们发现,现在有9个非零参数

4. 将参数置为0,等效于LinearRegression模型

 

这个时候,非零参数是500个。

扫描二维码关注公众号,回复: 5973491 查看本文章

附工作原理

在LinearRegression中,我们最小化的是均方误差,在LASSO模型中引入了稀疏性的概念。

 LASSO以参数作为坐标轴绘制了一个超球体,异常值在边缘上,这些参数多数为0.

其核心还是抓主要的特征。

确定超参数lambda

lambda的确定可以通过交叉验证进行确定。

这里默认使用留一法进行交叉验证 

查看参数:

自动找到的最优参数个数:

LASSO的其它用法

 

Lasso在上文中在众多特征中选了少数的几个作为有效特征,我们可以用它实现特征选取:

首先建立掩模,然后过滤数据

猜你喜欢

转载自blog.csdn.net/Day_and_Night_2017/article/details/89429012