用LASSO回归做特征筛选使用踩坑记
什么时候应该用LASSO回归进行特征筛选？使用时容易踩的坑你都避开了吗？Lasso回归的原理（请看我的另一篇博客： Lasso回归系列二：Lasso回归/岭回归的原理）
顺便结合最近实验犯的错误，给大家谝一谝（陕西的都懂哈）
我采用如下pipeline来进行医学图像分类(数据集包含903张医学影像)
1、使用三个不同的神经网络模型对每张图片提取1024维特征
2、将三组特征以concate方式拼接后送入XGBoost做分类
这个最初的pipeline存在两个BUG
BUG1: 拼接后的特征是3072维，远大于样本数，这样的必然会出现过拟合
BUG2: 为了解决BUG1，我使用了Lasso进行特征筛选，但此时我犯下了第二个错误：送入Lasso的特征我没有进行归一化，这真是为难了Lasso这个线性回归器，所以你需要设置normalize=True，将输入Lasso的数据转化成正态分布，消除特征量纲，有助于线性回归模型更好地学习。
from sklearn.linear_model import Lasso, LassoCV
lasso = Lasso(alpha=lasso_alpha, random_state=1, normalize=True)
lasso.fit(train_data, train_labels)
# 相关系数
mask = lasso.coef_ != 0.0
data = train_data.loc[:, mask] #然后将筛选后的data再送入XGBoost进行分类
如果想获取最佳的lasso系数，可以交叉验证进行选出最佳的lasso系数，然后再进行上面的Lasso拟合
# 使用Lasso进行特征提取
lambdas = np.logspace(-5,1,100)
lasso_cv = LassoCV(alphas=lambdas, normalize = True, cv=5)
lasso_cv.fit(train_data, train_labels)
print(lasso_cv.alpha_)
Lasso回归本质上是加入了L1-norm作为正则项的回归方法，所以还可以直接用Lasso回归去拟合一些线性问题。
关于Lasso回归的具体应用可以参考Kaggle房价预测代码：https://www.kaggle.com/code/miguelfzzz/house-price-prediction-lasso-ridge-and-more#5.-Modelling-