在学习了「简单线性回归」之后，我们进一步学习应用更为广泛的多元线性回归，并使用 Python 代码来实现它。

一、理解原理

多元线性回归是对简单线性回归的推广，同时有着不同于简单线性回归的特性。

1 概念

**多元线性回归（Multiple Linear Regression）**尝试通过已知数据找到一个线性方程来描述两个及以上的特征（自变量）与输出（因变量）之间的关系，并用这个线性方程来预测结果。

多元线性回归的数学形式如下：

$y = b_0 + b_1x_1 + b_2x_2 ...+b_nx_n + u_t$

式中 $u_t(t= 1,2,...,n)$ 为随机项误差。

应用多元线性回归时，我们需要关注不同变量对预测结果的影响，以及不同的变量之间有什么联系。

2 使用多元线性回归分析的前提

线性：自变量和因变量线性相关

同方差性：随机误差项的方差应为常数，也就是说样本残差的平方 $e_t^2$ 不随自变量的变化而变化

多元正态：残差应符合正态分布

低多重共线性：使用多元线性回归时，如果特征（自变量）之间高度相关，会使回归估计不准确，称为多重共线性。我们需要保证数据没有或具有较低的多重共线性

3 变量的选择

使用太多的变量可能会导致模型变得不精确，尤其是存在对输出结果没有影响或者对其它变量有较大影响的变量时。选择变量可以采用以下几种方法：

向前选择法：从没有变量开始，使用某种标准，选择对拟合结果改进最大的变量，重复这个过程直到增加新的变量对结果没有明显的改善。
向后剔除法：从具有多个候选变量开始，使用某种标准，评估去除变量对拟合结果的负面影响，逐个去除影响最小的变量，直到去除每个变量都会对结果造成重要的负面影响。
双向对比法

4 虚拟变量

要想在回归模型中使用非数值数据类型，可以把它们视为分类数据。

分类数据，是指反应事物类型的离散数据（固定且无序），比如性别（男/女）。在模型中，我们可以用虚拟变量来表示这种数据。虚拟变量通常使用 1、0 这样的值来表示肯定或否定的含义。

5 虚拟变量陷阱

虚拟变量陷阱指两个或多个变量之间高度相关的情形。简单的说就是一个变量可以通过其它变量预测。例如男性类别可以通过女性类别判断（女性值为 0 时，表示男性），所以对于男女问题，变量应该只有一元。

假设有 m 个相互关联的类别，为了解决虚拟变量陷阱，可以在模型构建时只选取 m-1 个虚拟变量。

6 求解办法

对于多元线性回归，依旧可以使用解析法和迭代法两种方法求解参数。

解析法，有 $\theta = (X^TX)^{-1}X^TY$

迭代法，可以使用批梯度下降、随机梯度下降、牛顿法等。

二、代码实现

1 数据预处理

# 导入库
import pandas as pd
import numpy as np
# 导入数据集
dataset = pd.read_csv('50_Startups.csv')
X = dataset.iloc[ : , :-1].values
Y = dataset.iloc[ : ,  4 ].values
# 分类数据编码
from sklearn.preprocessing import LabelEncoder, OneHotEncoder
labelencoder = LabelEncoder()
X[: , 3] = labelencoder.fit_transform(X[ : , 3])
onehotencoder = OneHotEncoder(categorical_features = [3])
X = onehotencoder.fit_transform(X).toarray()
# 躲避虚拟变量陷阱
X = X[: , 1:]
# 分割训练集和测试集
from sklearn.cross_validation import train_test_split
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size = 0.2, random_state = 0)

示例数据地址：GitHub - Avik-Jain/100-Days-Of-ML-Code/datasets

这次比起前文「数据预处理」，多了一行躲避虚拟变量陷阱的代码。

2 使用训练集拟合多元线性回归模型

from sklearn.linear_model import LinearRegression
regressor = LinearRegression()
# 这里显然运用解析法进行拟合
regressor.fit(X_train, Y_train)

3 预测结果

y_pred = regressor.predict(X_test)

机器学习入坑指南（四）：多元线性回归