DNN反向传播具体推导过程（2）

版权声明：本文为博主原创文章，引用时请附上链接。 https://blog.csdn.net/abc13526222160/article/details/85345553

介绍了DNN的网络是如何的从前向后的把数据传递过去的，但是只有这个过程还不够，我们还需要想办法对所有参数进行一个梯度的更新，才能使得网络能够慢慢的学习到新的东西。在神经网络中有一种通用的方法来更新参数，叫做反向更新BP。

1、DNN反向更新过程

根据前面的前向传播的过程我们得到了一个传播公式，其中σ是激活函数，对具体的函数不做要求，可以是线性激活函数，也可以是非线性激活函数

                                                                                    

我们假设DNN的损失函数是MSE，其中是输出层的输出（单样本）：

                                                                       

由于梯度下降法有批量（Batch），小批量(mini-Batch)，随机三个变种，为了简化描述，这里我们以最基本的批量梯度下降法为例来描述反向传播算法。实际上在业界使用最多的是mini-Batch的梯度下降法。不过区别仅仅在于迭代时训练样本的选择而已。