Ridge Regression and Kernel Ridge Regression

http://blog.sina.com.cn/s/blog_eb23a2510102xe4o.html

ridge regression可以用来处理下面两类问题:一是数据点少于变量个数;二是变量间存在共线性。

当变量间存在共线性的时候,最小二乘回归得到的系数不稳定,方差很大。这是因为系数矩阵X与它的转置矩阵相乘得到的矩阵不能求得其逆矩阵,而ridge regression通过引入参数lambda,使得该问题得到解决。在R语言中,MASS包中的函数lm.ridge()可以很方便的完成。它的输入矩阵X始终为n x p 维,不管是否包含常数项。

猜你喜欢

转载自blog.csdn.net/qq_40614981/article/details/80415480
今日推荐