机器学习(一)：深入解析线性回归模型

一.线性回归的基本概念

1.1 什么是回归问题？

回归是应用于经济，投资等领域的一种统计学方法，它尝试确定一个因变量（通常由$y$表示）与一系列其他变量（称为自变量，通常用$x$表示）之间关系，然后通过这个关系来进行相关的预测，例如我们根据一个地区的若干年的PM2.5数值变化来估计某一天该地区的PM2.5值大小。也就是说，回归问题就是确定一个模型$f$，使得$y=f(x)$。若$y$与$x$之间是一次函数关系，则称其为线性回归问题（狭义上的）。

1.2 一元线性回归

给定一个数据集$D=({\vec{x}}_1,y_1),({\vec{x}}_2,y_2),...,({\vec{x}}_m,y_m)$，后面的讨论都是基于假想的数据集$D$。当自变量$x$只包含单个特征时，我们称该线性回归为一元线性回归，其数学形式如下所示：
$$y=wx+b$$
实际上一元线性回归的数学形式就是我们所熟悉的直线方程，例如下面就是根据$y=x+1.2$加上随机误差人工生成的一组$(x_i,y_i)$，显然$x_i$与$y_i$之间的关系明显满足一元线性模型的要求。

上图数据的生成代码如下：

size=1000
x = np.random.randn(size,1)
y = x + np.random.randn(size,1) + 2.2

1.3 多元线性回归

多元线性回归与一元线性回归类似，只不过自变量$x$由标量变成了向量，即$\vec{x}=(x_1,x_2,...,x_d)$，多元线性回归的数学形式如下：
$$y=w_1{x}_1+w_2{x}_2+w_3{x}_3+...+w_d{x}_d+b$$
同样的，这里也给出一个能利用多元线性回归求解的模型，下图是基于$y=x_1+x_2+5.2$（三维空间中的平面$x+y+5.2=z$）加上随机误差生成的一组$({\vec{x}}_i,y_i)$。

其数据生成代码如下：

size=1000
x1 = np.random.randn(size,1)
x2 = np.random.randn(size,1)
y = x1 + x2 + np.random.randn(size,1) + 5.2

二.模型的确定

在1.2，1.3两节中我分别基于$y=x+1.2$和$y=x_1+x_2+5.2$生成了两个数据集，因此两个数据集分别对应的线性回归模型各自的理想参数分别为$w=1,b=1.2$和$w_1=1,w_2=1,b=5.2$。但在实际中，我们事先是不知道数据集所对应的模型的，那么对于一个适用于线性回归问题的数据集来说，我们如何来寻找适合其的模型呢？另外，对于一个模型我们需要如何判断其是否适合呢?

2.1 线性回归模型的度量

线性回归模型有许多的度量方式，其中均方误差（MSE，Mean-Square-Error）是线性回归最常用的性能度量。

2.1.1 一元线性模型的均方误差

设一元线性模型为$f(x)=wx+b$，数据集仍为$D$，对于某个数据$(x_i,y_i)$，$y_i$为真实标签，$f(x_i)$为预测值，则均方误差$L$定义如下：
$$L=\sum _{i=1}^m(f(x_i)-y_i{)}^2=\sum _{i=1}^m(w{x}_i+b-y_i{)}^2$$
由上式可知，当均方误差衡量的是预测值与真实标签间的”差距“，当一个模型的均方误差越小时，模型的预测就越接近真实值，模型也就越理想。

2.1.2 多元线性模型的均方误差

对于多元线性回归，通常会将其表示为矩阵的形式，参照周志华机器学习中的表示方式，先将$w$和$b$吸收入向量形式$\hat{w}=(w;b)$。相应的,数据集$D$表示为一个$m\times (d+1)$大小的矩阵$X$，即
$$X=\left(\begin{array}{ccccc}{x}_{11}& x_{12}& ...& x_{1d}& 1\\ x_{21}& x_{22}& ...& x_{2d}& 1\\ ...& ...& ...& ...& ...\\ x_{m1}& x_{m2}& ...& x_{md}& 1\end{array}\right)=\left(\begin{array}{cc}{x}_1^T& 1\\ x_2^T& 1\\ ...& ...\\ x_m^T& 1\end{array}\right)$$
同样数据集$D$的标签也也写成向量形式$y=(y_1;y_2;...;y_m)$，即$m\times 1$矩阵，则均方误差可以表示为:
$$L=(y-X\hat{w}{)}^T(y-X\hat{w})$$
注：一元线性模型也可以采用多元线性模型的表示形式。

2.2 如何求解$w$和$b$

既然已经知道如何对线性回归模型进行评价了，那接下来的任务就变成了如何确定一组超级参数$w$和$b$使得均方误差$L$最小化。可知$L$是一个凸函数，根据微积分可知，当导数为0时，$L$取最小值，因此需要对$w$和b求偏导并令其为0。

2.2.1 一元线性模型的超级参数

$$\begin{gathered} \frac{\partial L}{\partial w}=\sum _{i=1}^{m}2(w{x}_i+b-y_i)x_i=2(w\sum _{i=1}^m{x_i}^2-\sum _{i=1}^m(y_i-b)x_i)=0 \\ \frac{\partial L}{\partial b}=\sum _{i=1}^{m}2(w{x}_i+b-y_i)=2(mb-\sum _{i=1}^m{y}_i-w{x}_i)=0 \end{gathered}$$

可得$w$和b的最优解为：
$$\begin{gathered} w=\frac{{\sum }_{i=1}^m{y}_i\left(x_i-\overline{x}\right)}{{\sum }_{i=1}^m{x}_{\mathrm{i}}^2-\frac{1}{m}{\left({\sum }_{i=1}^{m}xi\right)}^2} \\ b=\frac{1}{m}\sum _{i=1}^m\left(y_i-w{x}_i\right) \end{gathered}$$
其中$\overline{x}=\frac{1}{m}{\sum }_{i=1}^m(x_i)$，即为$x$的均值。

2.2.2 多元线性模型的超级参数

损失函数$L$对$\hat{w}$的求偏导并令其为0，即：
$$\frac{\partial L}{\partial \hat{w}}=2X^T\left(X\hat{w}-y\right)=0$$
因此$\hat{w}$的最优解：
$$\hat{w}=(X^{T}X{)}^{-1}{X}^{T}y$$

三.代码实现

根据2.3节的针对一元线性模型和二元线性模型超级参数的求解实现代码如下（其中一元线性模型也转换成了矩阵形式进行求解尝试）：

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D


def loadDataset1(size=1000):
    """
    功能：生成一元线性模型数据集
    size：数据集大小
    """
    x = np.random.randn(size,1)
    y = x + np.random.randn(size,1) + 1.2
    
    return x,y

def loadDataset2(size=1000):
    """
    功能：生成多元线性模型数据集
    size：数据集大小
    """
    x1 = np.random.randn(size,1)
    x2 = np.random.randn(size,1)
    x3 = np.random.randn(size,1)
    y = 0.8*x1 + 1.7*x2 + 6.6*x3 + np.random.randn(size,1) + 5.2
    ones = np.ones(shape=(size,1))
    #构造(w,b)形式
    x = np.hstack((x1,x2,x3,ones))
    
    return x,y



if __name__ == "__main__":
    size = 1000
    x1,y1 = loadDataset1(size=size)
    #一元线性模型参数求解方法
    w1 = np.dot(y1.T,x1-np.mean(x1)) / (np.sum(x1**2) - 1.0 /size * np.sum(x1)**2)
    b1 = 1.0 / size * np.sum((y1-w1*x1))
    print(w1[0,0],b1)
    
    #一元线性模型划为矩阵形式后进行求解
    ones = np.ones(shape=(size,1))
    #构造(w,b)形式
    x1 = np.hstack((x1,ones))
    print(np.linalg.inv(x1.T.dot(x1)).dot(x1.T).dot(y1))
    
    #多元线性模型超级参数求解
    x2,y2 = loadDataset2(size=size)
    print(np.linalg.inv(x2.T.dot(x2)).dot(x2.T).dot(y2))
    """
    0.9837945577476686 1.2292211441168228
    [[0.98379456]
     [1.22922114]]
    [[0.83507322]
     [1.66517019]
     [6.67787326]
     [5.18590384]]
    """

可以看出根据数据集预测的超级参数和实际的参数已经十分接近了。

参考博客

• 用人话讲明白线性回归LinearRegression
• 回归分析|笔记整理（6）——多元线性回归（上）

以上便是本文的全部内容，如果觉得不错的话就点个赞或关注一下博主吧，你们的支持是博主创作的不竭动力，倘若有任何问题也敬请批评指正！！！