李宏毅深度学习_Backpropagation

李宏毅深度学习_Backpropagation

本文是李宏毅深度学习 (2015)的学习笔记，主要介绍了神经网络Backpropagation算法的推导过程。本文所用到的图示均来自课堂ppt。

原视频地址：李宏毅深度学习 (2015)

Background

为了使用Gradient Descent对网络参数进行训练，我们就要求出Cost Function对每一层参数的梯度，由于本质上$w^l_{ij}$与$b^l_i$差别不大（可将$b^l_i$看作$w^l_{ij}$中的一项），因此我们这里仅对$\partial C^r/ \partial w^l_{ij}$进行推导，$\partial C^r/ \partial b^l_{i}$推导类似。

链式法则

这里使用求导链式法则先将这个问题拆解成两部分，然后分别对每一部分的求导进行计算。

计算链式法则中拆解的两部分

1. 计算$\partial z^l_i/ \partial w^l_{ij}$

第一部分的求导分为两种情况：

• $l>1$。即当权值不是第一层时，导数为$a^{l-1}_j$。
• $l=1$。即权值为第一层时，导数为$x^r_j$。

2. 计算$\partial C^r/ \partial z^l_{i}$

为了描述方便将$\partial C^r/ \partial z^l_{i}$描述为$\delta ^l_i$。此时利用BP的思想，先求出最后一层的$\delta ^L$，再找出后一层$\delta ^{l+1}$与前一层$\delta ^l$的关系，以此求出所有的$\delta^l$。

同样根据链式求导法则可以得出

$$\delta ^L_n=\sigma '{(z^L_{n})}\frac{\partial C^r}{\partial y^r_n}$$

其中$\frac{\partial C^r}{\partial y^r_n}$与Cost Function的选取有关。

$z^l_{i}$的变化$\Delta z^l_{i}$会对$a^l_{i}$造成影响进而影响到下一层的$z^{l+1}$，

向量化后得到

$$\delta^l=\sigma '{(z^l)}\cdot (W^{l+1})^T\delta^{l+1}。$$

总结

至此，我们已经完成了对$\partial C^r/ \partial w^l_{ij}$的推导，并且实现了向量化。$\partial C^r/ \partial b^l_{i}$推导类似。