台大李宏毅-- 反向传播算法 Backpropagation

版权声明：博客转载，请标注 来自 丁磊_ml博客 网址为 blog.csdn.net/MosBest https://blog.csdn.net/MosBest/article/details/79691259

1. 链式法则

2. 反向传播算法 实例

计算前向传播：

比如：

你会发现，输入值就是前向传播中，要求求解的导数的值。

计算后向传播：

这里假设，一个样本造成的损失loss是：
（每个样本有两个输入x1,x2）

综上所述：

由上图可得，在反向传输中，在计算过程中，是先算出最末尾的 $\frac{\partial C}{\partial y_1} , \frac{\partial C}{\partial y_2}$，再算出倒数第二个的偏导 $\frac{\partial C}{\partial z`} ， \frac{\partial C}{\partial z{``}}$ , 再才算到 最前面的 $\frac{\partial C}{\partial z}$。这就是反向传播。

过程就是：

1. 计算$\frac{\partial C}{\partial y_1} , \frac{\partial C}{\partial y_2}$
2. 计算$\frac{\partial C}{\partial z`} ， \frac{\partial C}{\partial z{``}}$
3. 最终计算 $\frac{\partial C}{\partial z}$

如果是更多层的神经网络

如果是更多层的神经网络,那么为了计算方向传输的$\frac{\partial C}{\partial z}$，就应该像上面那样，从最末尾的地方（输出神经元）开始算起，一步一步计算，一步一步向左边推进，直到计算到最左边的第一层神经元，就计算到了$\frac{\partial C}{\partial z}$。

3. 总结