[深度学习基础] 反向传播：简单实例

首先以单隐藏层的MLP为例对反向传播的过程进行具体说明：

前向传播
1、网络输入层：训练集上的一小批数据作为输入，将其规范化为：
$矩阵X,以及对应的类标签向量y$
2、网络计算隐藏层：全连接层+ReLU
$H=max{\{0,XW^{(1)}\}}$
3、网络计算输出层：全连接层
$HW^{(2)}$
4、损失函数计算：交叉熵（最小化交叉熵将得到对分类器的最大似然估计）+正则项
$J=J_{MLE}+\lambda(\sum_{i,j}{(W_{i,j}^{(1)})^2+(W_{i,j}^{(2)})^2})$
其中 $J_{MLE}$为交叉熵， $\lambda$为权重衰减项
其计算图如下：

反向传播
为了训练，我们希望计算 $\nabla_{W^{(1)}}J$和 $\nabla_{W^{(2)}}J$。有两种不同的路径从 $J$后退到权重：一条通过交叉熵代价，一条通过权重衰减代价。令 $G$为 $J_{MLE}$对 $U^{(2)}$的梯度。
1、通过权重衰减代价反向传播

• 对 $W^{(2)}$： $2\lambda W^{(2)}$
• 对 $W^{(1)}$： $2\lambda W^{(1)}$

其中， $\mathbb{R} (\cdot)$表示ReLU的反传函数，即对上一层传来的梯度中小于零的部分清零。
2、通过交叉熵代价反向传播

• 对 $W^{(2)}$： $H^TG$
• 对 $W^{(1)}$： $X^T\mathbb{R} (GW^{{(2)}^{T}})$

3、总梯度

• 对 $W^{(2)}$： $2\lambda W^{(2)}+H^TG$
• 对 $W^{(1)}$： $2\lambda W^{(1)}+X^T\mathbb{R} (GW^{{(2)}^{T}})$

在计算好上述梯度之后，梯度下降算法或者其他优化算法所做的就是利用这些梯度来更新参数。

【参考文献】
Ian Goodfellow et al , deep learning chapter 6.5.7