1、岭回归+lasso回归+弹性网络
岭回归的由来以及效果在上一篇博客中已经介绍过了，这里用另一种方法介绍：
在原损失函数中添加惩罚项，控制拟合参数的大小，即添加正则项。使正则项和原最小二乘法之和达到最小时，求得的参数为最后解。
lasso添加的正则项稍有不同，弹性网络则结合了lasso和岭回归。
j
岭回归：
lasso:
弹性网络：
小结：
岭回归比较常用，当自变量较多时，而有用的变量可能较少时，lasso和弹性网络更常用。其中弹性网络应用更为广泛，很多时候效果更好。
糖尿病数据案例分析
这里仅仅展现lasso部分:
library("lars")
data= data.frame(data(diabetes))
diabetes
lar1 = lars(diabetes$x2,as.matrix(diabetes$y))
summary(lar1)
plot(lar1)
lar1$Cp
min(lar1$Cp)
which.min(lar1$Cp)
cv1= cv.lars(diabetes$x2,as.matrix(diabetes$y),K=10)
cv1$index
cv1$cv
cv1$mode#lasso方法
index1 = cv1$index[which.min(cv1$cv)]
coef = coef.lars(lar1,mode="fraction",s=index1)
coef[coef!=0]
coef1 = coef.lars(lar1,mode="step",s=15)
coef1[coef1!=0]
library("msgps")
w=read.csv("diabetes.csv")[,11:75]
y=w[,1];x2=as.matrix(w[,-1])
al=msgps(x2,y,penalty="alasso",gamma=1,lambda=0)
summary(al);plot(al)
