1. 线性回归的模型函数和损失函数

线性回归遇到的问题一般是这样的。我们有m个样本，每个样本对应于n维特征和样本的标签，如下表所示：

样本	特征1	特征2	…	特征n	标签
1	$x^{(1)}_1$	$x^{(1)}_2$	…	$x^{(1)}_n$	$y_1$
2	$x^{(2)}_1$	$x^{(2)}_2$	…	$x^{(2)}_n$	$y_2$
…	…	…	…	…
m	$x^{(m)}_1$	$x^{(m)}_2$	…	$x^{(m)}_n$	$y_m$

我们的目的是通过这样的样本我们要建立一个模型，来给一个标签未知的新样本打上一个合适的标签。对于这样的一个问题，如果标签y是连续的，则它是一个回归问题，否则就是一个分类问题。

对于n维特征的样本数据，线性回归，我们的线性回归模型是这样的：
$h_\theta (x_1,x_2,...x_n)=\theta_0+\theta_1x_1+...+\theta_nx_n$
其中 $\theta_i(i=0,1,2....n)$ 为模型参数， $x_i(i=0,1,2....n)$ 为每个样本的n个特征值。这个表示可以简化，我们增加一个特征 $x_0=1$ ，这样 $h_\theta (x_0,x_1,...x_n)=\sum_{i=0}^{n}\theta_ix_i$ 。

进一步用矩阵形式表达更加简洁如下：
$h_\theta(X)=X\theta$
其中，假设函数 $h_\theta(X)$ 为 $m\times1$ 的向量, $\theta$ 为 $n\times1$ 的向量。X为 $m\times n$ 维的矩阵。m代表样本的个数，n代表样本的特征数。

得到了模型，我们需要求出需要的损失函数，一般线性回归我们用均方误差作为损失函数。损失函数的代数法表示如下：
$J(\theta_0,\theta_1....,\theta_n)=\sum_{i=0}^{m}(h_\theta(x_0,x_1,...x_n)-y_i)^2$
进一步用矩阵形式表达损失函数：
$J(\theta)=\frac{1}{2}(X\theta-Y)^T(X\theta-Y)$

2 线性回归的算法

对于线性回归的损失函数 $J(\theta)=\frac{1}{2}(X\theta-Y)^T(X\theta-Y)$ ，我们常用的有两种方法来求损失函数最小化时候的θ参数：一种是梯度下降法，一种是最小二乘法。

2.1梯度下降法

首先来看看梯度下降的一个直观的解释。比如我们在一座大山上的某处位置，由于我们不知道怎么下山，于是决定走一步算一步，也就是在每走到一个位置的时候，求解当前位置的梯度，沿着梯度的负方向，也就是当前最陡峭的位置向下走一步，然后继续求解当前位置梯度，向这一步所在位置沿着最陡峭最易下山的位置走一步。这样一步步的走下去，一直走到觉得我们已经到了山脚。当然这样走下去，有可能我们不能走到山脚，而是到了某一个局部的山峰低处。

θ向量可以初始化为默认值，或者调优后的值。算法终止距离ε，步长α。

算法过程：

确定当前位置的损失函数的梯度，对于θ向量,其梯度表达式如下： $\frac {\partial}{\theta}J(\theta)$
用步长乘以损失函数的梯度，得到当前位置下降的距离，即 $\alpha\frac {\partial}{\theta}J(\theta)$ 对应于前面登山例子中的某一步。
确定θ向量里面的每个值,梯度下降的距离都小于ε，如果小于ε则算法终止，当前θ向量即为最终结果。否则进入步骤4.
更新θ向量，其更新表达式如下。更新完毕后继续转入步骤1.

$\theta=\theta-\alpha\frac {\partial}{\theta}J(\theta)$

损失函数对于θ向量的偏导数计算如下：
$\frac {\partial}{\theta}J(\theta)=X^T(X\theta-Y)$
步骤4中θ向量的更新表达式如下：
$\theta=\theta-\alpha X^T(X\theta-Y)$
通过若干次迭代后，我们可以得到最终的θ的结果

2.2 最小二乘法的矩阵法解法

原理的一般形式很简单，当然发现的过程是非常艰难的。形式如下式：
$目标函数 = Σ(观测值-理论值)^2$
观测值就是我们的多组样本，理论值就是我们的假设拟合函数。目标函数也就是在机器学习中常说的损失函数，我们的目标是得到使目标函数最小化时候的拟合函数的模型。举一个最简单的线性回归的简单例子，比如我们有m个只有一个特征的样本：
$(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...(x^{(m)},y^{(m)})$
样本采用下面的拟合函数：
$h_\theta(x)=\theta_0+\theta_1x$
这样我们的样本有一个特征x，对应的拟合函数有两个参数 $\theta_0$ 和 $\theta_1$ 需要求出。

我们的目标函数为：
$J(\theta_0,\theta_1)=\sum_{i=1}^{m}(y^{(i)}-\theta_0-\theta_1x^{(i)})^2$
用最小二乘法做什么呢，使 $J(\theta_0,\theta_1)$ 最小，求出使 $J(\theta_0,\theta_1)$ 最小时的 $\theta_0$ 和 $\theta_1$ ，这样拟合函数就得出了。

根据最小二乘法的原理，我们要对这个损失函数对θ向量求导取0。结果如下式：
$\frac{\partial}{\partial\mathbf\theta}J(\mathbf\theta) = \mathbf{X}^T(\mathbf{X\theta} - \mathbf{Y}) = 0$
这里面用到了矩阵求导链式法则，和两个矩阵求导的公式。

公式1： $\frac{\partial}{\partial\mathbf{X}}(\mathbf{XX^T}) =2\mathbf{X}$

公式2： $\frac{\partial}{\partial\mathbf\theta}(\mathbf{X\theta}) =\mathbf{X^T}$

对上述求导等式整理后可得：

$\mathbf{X^{T}X\theta} = \mathbf{X^{T}Y}$

两边同时左乘 $(\mathbf{X^{T}X})^{-1}$ 可得：

$\mathbf{\theta} = (\mathbf{X^{T}X})^{-1}\mathbf{X^{T}Y}$

这样我们就一下子求出了θ向量表达式的公式，免去了代数法一个个去求导的麻烦。只要给了数据,我们就可以用 $\mathbf{\theta} = (\mathbf{X^{T}X})^{-1}\mathbf{X^{T}Y}$ 算出 $θ$ 。

3. 线性回归的推广：多项式回归

回到我们开始的线性模型， $h_\theta (x_1,x_2,...x_n)=\theta_0+\theta_1x_1+...+\theta_nx_n$ , 如果这里不仅仅是x的一次方，比如增加二次方，那么模型就变成了多项式回归。这里写一个只有两个特征的p次方多项式回归的模型：

$h_\theta (x_1,x_2)=\theta_0+\theta_1x_1+\theta_2x_2+\theta_3x_1^2+\theta_4x_2^2+\theta_5x_1x_2$

我们令 $x_0=1, x_1=x_1,x_2=x_2,x_3=x_1^2,x_4=x_2^2,x_5=x_1x_2$ ,这样我们就得到了下式：

$h_\theta (x_1,x_2)=\theta_0+\theta_1x_1+\theta_2x_2+\theta_3x_3+\theta_4x_4+\theta_5x_5$

可以发现，我们又重新回到了线性回归，这是一个五元线性回归，可以用线性回归的方法来完成算法。对于每个二元样本特征 $(x_1,x_2)$ ,我们得到一个五元样本特征 $(x_1,x_2,x_1^2,x_2^2,x_1x_2)$ ，通过这个改进的五元样本特征，我们重新把不是线性回归的函数变回线性回归。

4. 交叉验证

交叉验证是在机器学习建立模型和验证模型参数时常用的办法。交叉验证，顾名思义，就是重复的使用数据，把得到的样本数据进行切分，组合为不同的训练集和测试集，用训练集来训练模型，用测试集来评估模型预测的好坏。在此基础上可以得到多组不同的训练集和测试集，某次训练集中的某样本在下次可能成为测试集中的样本，即所谓“交叉”。

那么什么时候才需要交叉验证呢？交叉验证用在数据不是很充足的时候。比如在我日常项目里面，对于普通适中问题，如果数据样本量小于一万条，我们就会采用交叉验证来训练优化选择模型。如果样本大于一万条的话，我们一般随机的把数据分成三份，一份为训练集（Training Set），一份为验证集（Validation Set），最后一份为测试集（Test Set）。用训练集来训练模型，用验证集来评估模型预测的好坏和选择模型及其对应的参数。把最终得到的模型再用于测试集，最终决定使用哪个模型以及对应参数。

回到交叉验证，根据切分的方法不同，交叉验证分为下面三种：

第一种是简单交叉验证，所谓的简单，是和其他交叉验证方法相对而言的。首先，我们随机的将样本数据分为两部分（比如： 70%的训练集，30%的测试集），然后用训练集来训练模型，在测试集上验证模型及参数。接着，我们再把样本打乱，重新选择训练集和测试集，继续训练数据和检验模型。最后我们选择损失函数评估最优的模型和参数。

第二种是S折交叉验证（S-Folder Cross Validation）。和第一种方法不同，S折交叉验证会把样本数据随机的分成S份，每次随机的选择S-1份作为训练集，剩下的1份做测试集。当这一轮完成后，重新随机选择S-1份来训练数据。若干轮（小于S）之后，选择损失函数评估最优的模型和参数。

第三种是留一交叉验证（Leave-one-out Cross Validation），它是第二种情况的特例，此时S等于样本数N，这样对于N个样本，每次选择N-1个样本来训练数据，留一个样本来验证模型预测的好坏。此方法主要用于样本量非常少的情况，比如对于普通适中问题，N小于50时，我一般采用留一交叉验证。

通过反复的交叉验证，用损失函数来度量得到的模型的好坏，最终我们可以得到一个较好的模型。那这三种情况，到底我们应该选择哪一种方法呢？一句话总结，如果我们只是对数据做一个初步的模型建立，不是要做深入分析的话，简单交叉验证就可以了。否则就用S折交叉验证。在样本量少的时候，使用S折交叉验证的特例留一交叉验证。

此外还有一种比较特殊的交叉验证方式，也是用于样本量少的时候。叫做自助法(bootstrapping)。比如我们有m个样本（m较小），每次在这m个样本中随机采集一个样本，放入训练集，采样完后把样本放回。这样重复采集m次，我们得到m个样本组成的训练集。当然，这m个样本中很有可能有重复的样本数据。同时，用原始的m个样本做测试集。这样接着进行交叉验证。由于我们的训练集有重复数据，这会改变数据的分布，因而训练结果会有估计偏差，因此，此种方法不是很常用，除非数据量真的很少，比如小于20个。

5. 线性回归scikt-learn实现

5.1 参数说明

使用 sklearn.linear_model.LinearRegression进行线性回归
sklearn对 Data Mining 的各类算法已经有了较好的封装，基本可以使用fit、predict、score来训练、评价模型，并使用模型进行预测，一个简单的例子如下：

>>> from sklearn import linear_model
>>> clf = linear_model.LinearRegression()
>>> X = [[0,0],[1,1],[2,2]]
>>> y = [0,1,2]
>>> clf.fit(X,y)
>>> print(clf.coef_)
[ 0.5 0.5]
>>> print(clf.intercept_)
1.11022302463e-16

LinearRegression已经实现了多元线性回归模型，当然，也可以用来计算一元线性模型，通过使用list[list]传递数据就行。下面是LinearRegression的具体说明。

使用方法

实例化
sklearn一直秉承着简洁为美得思想设计着估计器，实例化的方式很简单，使用clf = LinearRegression()就可以完成，但是仍然推荐看一下几个可能会用到的参数：

fit_intercept：是否存在截距，默认存在
normalize：标准化开关，默认关闭

回归计算
其实在上面的例子中已经使用了fit进行回归计算了，使用的方法也是相当的简单。

fit(X,y,sample_weight=None)：X, y以矩阵的方式传入，而sample_weight则是每条测试数据的权重，同样以array格式传入。

predict(X)：预测方法，将返回预测值y_pred

score(X,y,sample_weight=None)：评分函数，将返回一个小于1的得分，可能会小于0

模型参数

LinearRegression将方程分为两个部分存放，coef_存放回归系数，intercept_则存放截距，因此要查看方程，就是查看这两个变量的取值。

5.2 具体实例

这里对网络数据Advertising.csv进行简单的线性回归模型训练。该数据读为广告投入与销售额数据，共有5列，分别为编号，电视广告投入、无线广播投入、报纸投入和销售额。

import pandas as pd
import seaborn as sns
from sklearn.cross_validation import train_test_split
from sklearn.linear_model import LinearRegression
# 从URL读取csv文件
data = pd.read_csv('http://www-bcf.usc.edu/~gareth/ISL/Advertising.csv', index_col=0)
# 选取 'TV', 'radio', 'newspaper' 为特征
X = data[['TV', 'radio', 'newspaper']]
# 选择 'sales' 为标签
y = data['sales']
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=1)
# 建立模型，训练模型，测试模型
linreg = LinearRegression()
linreg.fit(X_train, y_train)
y_pred = linreg.predict(X_test)
'''
y_pred 为模型对测试集的预测结果
'''

5.3 回归问题的评价测度

对于分类问题，评价测度是准确率，但这种方法不适用于回归问题。我们使用针对连续数值的评价测度(evaluation metrics)。
下面介绍三种常用的针对回归问题的评价测度

平均绝对误差(Mean Absolute Error, MAE)
$SSE=\sum_{i=1}^{n}w_i(y_i-\hat y_i)^2$
SSE为和方差
$MSE=\frac{SSE}{n}=\frac{1}{n}\sum_{i=1}^{n}w_i(y_i-\hat y_i)^2$
均方误差(Mean Squared Error, MSE)
$RMES=\sqrt{MSE}=\sqrt{SSE/n}=\sqrt{ \frac{1}{n} \sum_{i=1}^{n}w_i(y_i-\hat y_i)^2}$
均方根误差(Root Mean Squared Error, RMSE)
$MAE=\frac{1}{m}\sum_{i=1}^m|(y_i-\hat{y_i})|$
已知测试集合的真实值y_test和预测值y_pred，分别计算这三种误差

from sklearn import metrics
import numpy as np
# 计算平均绝对误差
print "MAE:",metrics.mean_absolute_error(y_test, y_pred)
# 计算均方误差
print "MSE:",metrics.mean_squared_error(y_test, y_pred)
# 计算均方根误差
print "RMSE:",np.sqrt(metrics.mean_squared_error(y_test, y_pred))

MAE: 1.0668917082595215
MSE: 1.9730456202283384
RMSE: 1.4046514230328955

参考项目https://github.com/lawlite19/MachineLearning_Python

机器学习初级算法之线性回归

目录