最小二乘法概述

对于一元线性回归模型, 假设从总体中获取了n组观察值 $(x_1,y_1)$ , $(x_2,y_2)$ ，… ， $(x_n,y_n)$ 。对于平面中的这n个点，可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合这组值。综合起来看，这条直线处于样本数据的中心位置最合理。选择最佳拟合曲线的标准可以确定为：使总的拟合误差（即总残差）达到最小。有以下三个标准可以选择：
（1）用“残差和最小”确定直线位置是一个途径。但很快发现计算“残差和”存在相互抵消的问题。
（2）用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。
（3）最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计算比较方便外，得到的估计量还具有优良特性。这种方法对异常值非常敏感。

　最常用的是普通最小二乘法（ Ordinary Least Square，OLS）：所选择的回归模型应该使所有观察值的残差平方和达到最小。（Q为残差平方和）- 即采用平方损失函数。

　样本回归模型：
　

Y_{i} = {\hat{β}}_{0} + {\hat{β}}_{1} X_{i} + e_{i}

$Y_i=\widehat{\beta}_0+\widehat{\beta}_1X_i+e_i$

$e_i$ 是样本 $（X_i, Y_i）$ 的误差。

平方损失函数：

Q = \sum_{i = 1}^{n} e_{i}^{2} = \sum_{i = 1}^{n} {(Y_{i} - {\hat{Y}}_{i})}^{2} = \sum_{i = 1}^{n} {(Y_{i} - {\hat{β}}_{0} - {\hat{β}}_{1} X_{i})}^{2}

$Q=\sum_{i=1}^{n}e_i^2=\sum_{i=1}^{n}{(Y_i-\widehat Y_i)}^2=\sum_{i=1}^{n}{(Y_i-\widehat{\beta}_0-\widehat{\beta}_1X_i)}^2$ 则通过Q最小确定这条直线，即确定

{\hat{β}}_{0}, {\hat{β}}_{1}

$\widehat{\beta}_0 , \widehat{\beta}_1$ ，以

{\hat{β}}_{0}, {\hat{β}}_{1}

$\widehat{\beta}_0 , \widehat{\beta}_1$ 为变量，把它们看作是Q的函数，就变成了一个求极值的问题，可以通过求导数得到。求Q对两个待估参数的偏导数：

{\begin{cases} \frac{\partial Q}{\partial {\hat{β}}_{0}} = 2 \sum_{i = 1}^{n} (Y_{i} - {\hat{β}}_{0} - {\hat{β}}_{1} X_{i}) (- 1) = 0 \\ \frac{\partial Q}{\partial {\hat{β}}_{1}} = 2 \sum_{i = 1}^{n} (Y_{i} - {\hat{β}}_{0} - {\hat{β}}_{1} X_{i}) (- X_{i}) = 0 \end{cases}

$\begin{cases} \frac{\partial Q}{\partial \widehat{\beta}_0}=2\sum_{i=1}^{n}{(Y_i-\widehat{\beta}_0-\widehat{\beta}_1X_i)}(-1)=0 \\ \frac{\partial Q}{\partial \widehat{\beta}_1}=2\sum_{i=1}^{n}{(Y_i-\widehat{\beta}_0-\widehat{\beta}_1X_i)}(-X_i)=0 \end{cases}$ 根据数学知识我们知道，函数的极值点为偏导为0的点。解得：

{\hat{β}}_{1} = \frac{n \sum X_{i} Y_{i} - \sum X_{i} \sum Y_{i}}{n \sum X_{i}^{2} - (\sum X_{i})^{2}}

$\widehat{\beta}_1 = \frac{n\sum X_iY_i-\sum X_i \sum Y_i}{n\sum X_i^2-(\sum X_i)^2}$

{\hat{β}}_{0} = \frac{n \sum X_{i}^{2} \sum Y_{i} - \sum X_{i} \sum X_{i} Y_{i}}{n \sum X_{i}^{2} - (\sum X_{i})^{2}}

$\widehat{\beta}_0 = \frac{n\sum X_i^2 \sum Y_i-\sum X_i \sum X_iY_i}{n\sum X_i^2-(\sum X_i)^2}$ 这就是最小二乘法的解法，就是求得平方损失函数的极值点。采用多元线性回归模型：

Y = β + 0 + β_{1} X_{1} + β_{2} X_{2} + . . . + β_{n} X_{n} + e

$Y=\beta+0+\beta_1X_1+\beta_2X_2+...+\beta_nX_n+e$

R S S = \sum_{i = 1}^{n} (Y_{i} - \hat{Y_{i}})^{2}

$RSS=\sum_{i=1}^n(Y_i-\widehat{Y_i})^2$

\hat{β} = (X^{T} X)^{- 1} X^{T} y

$\widehat{\beta}=(X^T X)^{-1} X^Ty$

线性回归示例

在多元线性回归模型中，当Y值的影响因素不唯一时，采用多元线性回归模型。例商品的销售额可能与电视广告投入，收音机广告投入，报纸广告投入有关系，可以有

s a l e s = β_{0} + β_{1} \cdot T V + β_{2} \cdot r a d i o + β_{3} \cdot n e w s p a p e r

$sales=\beta_0+\beta_1\cdot TV + \beta_2\cdot radio +\beta_3\cdot newspaper$

pyton代码如下：

import numpy as np
import pandas as pd

#读取数据
data = pd.read_csv('http://www-bcf.usc.edu/~gareth/ISL/Advertising.csv', index_col=0)
data.head()

.dataframe tbody tr th:only-of-type { vertical-align: middle; } .dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }

	TV	radio	newspaper	sales
1	230.1	37.8	69.2	22.1
2	44.5	39.3	45.1	10.4
3	17.2	45.9	69.3	9.3
4	151.5	41.3	58.5	18.5
5	180.8	10.8	58.4	12.9

#计算相关矩阵
data.corr()

.dataframe tbody tr th:only-of-type { vertical-align: middle; } .dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }

	TV	radio	newspaper	sales
TV	1.000000	0.054809	0.056648	0.782224
radio	0.054809	1.000000	0.354104	0.576223
newspaper	0.056648	0.354104	1.000000	0.228299
sales	0.782224	0.576223	0.228299	1.000000

#构建X，Y数据
X = data[['TV','radio','newspaper']]
Y = data['sales']
mat(Y)

matrix([[22.1, 10.4,  9.3, 18.5, 12.9,  7.2, 11.8, 13.2,  4.8, 10.6,
          8.6, 17.4,  9.2,  9.7, 19. , 22.4, 12.5, 24.4, 11.3, 14.6,
         18. , 12.5,  5.6, 15.5,  9.7, 12. , 15. , 15.9, 18.9, 10.5,
         21.4, 11.9,  9.6, 17.4,  9.5, 12.8, 25.4, 14.7, 10.1, 21.5,
         16.6, 17.1, 20.7, 12.9,  8.5, 14.9, 10.6, 23.2, 14.8,  9.7,
         11.4, 10.7, 22.6, 21.2, 20.2, 23.7,  5.5, 13.2, 23.8, 18.4,
          8.1, 24.2, 15.7, 14. , 18. ,  9.3,  9.5, 13.4, 18.9, 22.3,
         18.3, 12.4,  8.8, 11. , 17. ,  8.7,  6.9, 14.2,  5.3, 11. ,
         11.8, 12.3, 11.3, 13.6, 21.7, 15.2, 12. , 16. , 12.9, 16.7,
         11.2,  7.3, 19.4, 22.2, 11.5, 16.9, 11.7, 15.5, 25.4, 17.2,
         11.7, 23.8, 14.8, 14.7, 20.7, 19.2,  7.2,  8.7,  5.3, 19.8,
         13.4, 21.8, 14.1, 15.9, 14.6, 12.6, 12.2,  9.4, 15.9,  6.6,
         15.5,  7. , 11.6, 15.2, 19.7, 10.6,  6.6,  8.8, 24.7,  9.7,
          1.6, 12.7,  5.7, 19.6, 10.8, 11.6,  9.5, 20.8,  9.6, 20.7,
         10.9, 19.2, 20.1, 10.4, 11.4, 10.3, 13.2, 25.4, 10.9, 10.1,
         16.1, 11.6, 16.6, 19. , 15.6,  3.2, 15.3, 10.1,  7.3, 12.9,
         14.4, 13.3, 14.9, 18. , 11.9, 11.9,  8. , 12.2, 17.1, 15. ,
          8.4, 14.5,  7.6, 11.7, 11.5, 27. , 20.2, 11.7, 11.8, 12.6,
         10.5, 12.2,  8.7, 26.2, 17.6, 22.6, 10.3, 17.3, 15.9,  6.7,
         10.8,  9.9,  5.9, 19.6, 17.3,  7.6,  9.7, 12.8, 25.5, 13.4]])

##直接根据系数矩阵公式计算
def standRegres(xArr,yArr):
    xMat = mat(xArr); yMat = mat(yArr).T
    xTx = xMat.T*xMat
    if linalg.det(xTx) == 0.0:
        print("This matrix is singular, cannot do inverse")
        return
    ws = xTx.I * (xMat.T*yMat)
    return ws

#求解回归方程系数
X2=X
X2['intercept']=[1]*200
standRegres(X2,Y)

matrix([[ 4.57646455e-02],
        [ 1.88530017e-01],
        [-1.03749304e-03],
        [ 2.93888937e+00]])

##利用现有库求解
from sklearn.linear_model import LinearRegression
linreg = LinearRegression()

linreg.fit(X, Y)
print(linreg.coef_)

[ 0.04576465  0.18853002 -0.00103749  0.        ]

##测试集和训练集的构建
from sklearn.cross_validation import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, Y, random_state=1)
linreg.fit(X_train, y_train)
#结果
print(linreg.intercept_)
print(linreg.coef_)

#预测
y_pred = linreg.predict(X_test)

#误差评估
from sklearn import metrics

# calculate MAE using scikit-learn
print("MAE:",metrics.mean_absolute_error(y_test,y_pred))


# calculate MSE using scikit-learn
print("MSE:",metrics.mean_squared_error(y_test,y_pred)) 


# calculate RMSE using scikit-learn
print("RMSE:",np.sqrt(metrics.mean_squared_error(y_test,y_pred)))

2.8769666223179318
[0.04656457 0.17915812 0.00345046 0.        ]
MAE: 1.0668917082595208
MSE: 1.9730456202283368
RMSE: 1.404651423032895

##只取两个参数的模型
from sklearn.linear_model import LinearRegression
from sklearn.cross_validation import train_test_split
feature_cols = ['TV', 'radio']

X = data[feature_cols]
y = data['sales']

X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=1)

linreg.fit(X_train, y_train)

y_pred = linreg.predict(X_test)
#误差评估
from sklearn import metrics

# calculate MAE using scikit-learn
print("MAE:",metrics.mean_absolute_error(y_test,y_pred))


# calculate MSE using scikit-learn
print("MSE:",metrics.mean_squared_error(y_test,y_pred)) 


# calculate RMSE using scikit-learn
print("RMSE:",np.sqrt(metrics.mean_squared_error(y_test,y_pred)))

MAE: 1.04775904112126
MSE: 1.9262760418667424
RMSE: 1.3879034699382888

最小二乘法梯度下降

最小二乘法跟梯度下降法都是通过求导来求损失函数的最小值。

相同点：

　　1.本质相同：两种方法都是在给定已知数据（independent & dependent variables）的前提下对dependent variables算出出一个一般性的估值函数。然后对给定新数据的dependent variables进行估算。
　　2.目标相同：都是在已知数据的框架内，使得估算值与实际值的总平方差尽量更小（事实上未必一定要使用平方），估算值与实际值的总平方差的公式为：

Δ = \frac{1}{2} \sum_{i = 1}^{m} (f_{β} (\bar{x_{i}}) - y_{i})^{2}

$\Delta =\frac{1}{2} \sum_{i=1}^{m}{(f_{\beta }(\bar{x_{i}} )-y_{i})^{2} }$

其中 $\bar{x_{i} }$ 为第i组数据的independent variable， $y_{i}$ 为第i组数据的dependent variable， $\beta$ 为系数向量。

不同点
　　1.实现方法和结果不同：最小二乘法是直接对 $\Delta$ 求导找出全局最小，是非迭代法。而梯度下降法是一种迭代法，先给定一个 $\beta$ ，然后向 $\Delta$ 下降最快的方向调整 $\beta$ ，在若干次迭代之后找到局部最小。梯度下降法的缺点是到最小点的时候收敛速度变慢，并且对初始点的选择极为敏感，其改进大多是在这两方面下功夫。

最小二乘法的目标：求误差的最小平方和，对应有两种：线性和非线性。线性最小二乘的解是closed-form即 $x=(A^T A)^{-1}A^Tb$ ，而非线性最小二乘没有closed-form，通常用迭代法求解。如果把最小二乘看做是优化问题的话，那么梯度下降是求解方法的一种， $x=(A^T A)^{-1}A^Tb$ 是求解线性最小二乘的一种，高斯-牛顿法和Levenberg-Marquardt则能用于求解非线性最小二乘。

利用最小二乘法做线性回归

最小二乘法概述

线性回归示例

最小二乘法梯度下降

猜你喜欢