线性回归和神经网络的联系

线性回归的表示方法

这节我们解释线性回归与神经网络的联系，以及线性回归的矢量计算表达式。

神经网络图

在深度学习中，我们可以使用神经网络图直观地表现模型结构。为了更清晰地展示线性回归作为神经网络的结构，下图使用神经网络图表示本节中介绍的线性回归模型。神经网络图隐去了模型参数权重和偏差。

在如图所示的神经网络中，输入分别为 $x_1$和 $x_2$，因此输入层的输入个数为2。输入个数也叫特征数或特征向量维度。图中网络的输出为$o$，输出层的输出个数为1。需要注意的是，我们直接将图中神经网络的输出$o$作为线性回归的输出，即$\hat{y}=o$。由于输入层并不涉及计算，按照惯例，如图所示的神经网络的层数为1。

所以，线性回归是一个单层神经网络。输出层中负责计算 $o$的单元又叫神经元。在线性回归中，$o$的计算依赖于$x_1$和$x_2$。也就是说，输出层中的神经元和输入层中各个输入完全连接。因此，这里的输出层又叫全连接层 (fuly-connected layer) 或稠密层 (dense layer)。

矢量计算表达式

在模型训练或预测时，我们常常会同时处理多个数据样本并用到矢量计算。在介绍线性回归的矢量计算表达式之前，让我们先考虑对两个向量相加的两种方法。

下面先定义两个1000维的向量。

import torch
from time import time
a = torch.ones(1000)
b = torch.ones(1000)

向量相加的另一种方法是，将这两个向量直接做矢量加法。

start = time()
c = torch.zeros(1000)
for i in range(1000):
c[i] = a[i] + b[i]
print(time() - start)

输出：

0.01296544075012207

向量相加的另一种方法是，将这两个向量直接做矢量加法。

start = time()
d = a + b
print(time() - start)

输出：

0.0

结果很明显，后者比前者更省时。因此，我们应该尽可能采用矢量计算，以提升计算效率。

让我们再次回到本节的房价预测问题。如果我们对训练数据集里的3个房屋样本(索引分别为1、2和3逐一预测价格，将得到

$$\begin{array}{l}{\hat{y}}^{(1)}=x_1^{(1)}{w}_1+x_2^{(1)}{w}_2+b,\\ {\hat{y}}^{(2)}=x_1^{(2)}{w}_1+x_2^{(2)}{w}_2+b,\\ {\hat{y}}^{(3)}=x_1^{(3)}{w}_1+x_2^{(3)}{w}_2+b.\end{array}$$

现在，我们将上面3个等式转化成矢量计算。设

$$\tilde{\mathbf{y}}=\left[\begin{array}{c}{\hat{y}}^{(1)}\\ {\hat{y}}^{(2)}\\ {\hat{y}}^{(3)}\end{array}\right],\mathbf{X}=\left[\begin{array}{cc}{x}_1^{(1)}& x_2^{(1)}\\ x_1^{(2)}& x_2^{(2)}\\ x_1^{(3)}& x_2^{(3)}\end{array}\right],\mathbf{w}=\left[\begin{array}{c}{w}_1\\ w_2\end{array}\right]$$

对3个房屋样本预测价格的矢量计算表达式为$\hat{\mathbf{y}}=\mathbf{X}\mathbf{w}+b$,其中的加法运算使用了广播机制。例如：

当对两个形状不同的 Tensor 按元素运算时，可能会触发广播 (broadcasting)机制: 先适当复制元素使这两个 Tensor 形状相同后再按元素运算。

a = torch.ones(3)
b = 10
print(a + b)

输出为：

tensor([11., 11., 11.])

广义上讲，当数据样本数为$n$，特征数为$d$时，线性回归的矢量计算表达式为:
$$\hat{\mathbf{y}}=X\mathbf{w}+b$$
其中模型输出$\hat{\mathbf{y}}\in {\mathbb{R}}^{n\times 1}$,批量数据样本特征$\mathbf{X}\in {\mathbb{R}}^{n\times d}$,权重$\mathbf{w}\in {\mathbb{R}}^{d\times 1}$，偏差$b\in \mathbb{R}$。相应地，批量数据样本标签$\mathbf{y}\in {\mathbb{R}}^{n\times 1}$。

设模型参数$\mathbf{\theta }={\left[w_1,w_2,b\right]}^{\top }$,我们可以重写损失函数为
$$\ell (\theta )=\frac{1}{2n}(\hat{y}-\mathbf{y}{)}^{\top }(\hat{y}-\mathbf{y})$$
小批量随机梯度下降的迭代步骤将相应地改写为
$$\theta \leftarrow \theta -\frac{\eta }{|\mathcal{B}|}\sum _{i\in \mathcal{B}}{\nabla }_{\theta }{\ell }^{(i)}(\theta )$$
其中梯度是损失有关3个为标量的模型参数的偏导数组成的向量:
$$\nabla {\theta }^{(i)}(\mathbf{\theta })=\left[\begin{array}{c}\frac{\partial {\theta }^{(i)}(u_1,w,b)}{\partial w_1}\\ \frac{\partial {\theta }^{(i)}(u_1,w,b)}{\partial w_2}\\ \frac{\partial {\theta }^{(i)}(u_1,w,b)}{\partial w_1}\end{array}\right]=\left[\begin{array}{c}{x}_1^{(i)}(x_1^{(i)}{w}_1+x_2^{(i)}{w}_2+b-y^{(i)})\\ x_2^{(i)}(x_1^{(i)}{w}_1+x_2^{(i)}{w}_2+b-y^{(i)})\\ x_1^{(i)}{w}_1+x_2^{(i)}{w}_2+b-y^{(i)}\end{array}\right]=\left[\begin{array}{c}{x}_1^{(i)}\\ x_2^{(i)}\\ 1\end{array}\right]({\dot{y}}^{(i)}-y^{(i)})$$