变量选择
针对OLS的问题，在变量选择方面有三种扩展的方法：
（详见 岭回归和Lasso回归）
（1）子集选择 这是传统的方法，包括逐步回归和最优子集法等，对可能的部分子集拟合线性模型，利用判别准则 （如AIC,BIC,Cp,调整R2 等）决定最优的模型。
（2）收缩方法（shrinkage method） 收缩方法又称为正则化（regularization）。主要是岭回归（ridge regression）和lasso回归。通过对最小二乘估计加入罚约束，使某些系数的估计为0。
（3）维数缩减 主成分回归（PCR）和偏最小二乘回归（PLS）的方法。把p个预测变量投影到m维空间（m<p），利用投影得到的不相关的组合建立线性模型。
其中，Liu估计是从“岭估计”和“Stein估计”中发展而得的一种收缩方法，用来解决多重共线性问题。