版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wgj99991111/article/details/83626111
深度学习中的反向传播训练过程，是优化权值矩阵的关键过程，下面记录自己学习体会。
卷积神经网络经过前面的运算之后，在训练的过程中，由于我们知道每一个样本的正确结果，所以可以得到一个损失函数。这个损失函数很关键，反向传播的训练过程就是通过他来实现的。
得到损失函数之后，我们就希望损失函数的值越小越好。这就转化成一个微积分中的优化问题，即，要求在什么情况下损失函数的值最小，也就是要求损失函数的最小值。
我们知道一个函数的导函数，表示函数在某个点上的瞬间变化率，我们求损失函数对权重矩阵的每一维参数的偏导数，就可以算出这一维参数对损失函数变化的影响效率，用权重参数Wi-(学习步长)*（影响值），
（如果在某个区间上导函数的值为负，则在这个区间上原函数是单调递减的，相反则原函数是单调递增的，因此，这里导函数的值应该是负的）
（影响效率大的地方，我们进行较大的调整，影响效率小的地方，进行较小的调整。这样我们就能使损失函数以较快的速度趋于一个最小值，也就达到了我们优化的目标。）就得到了这一维参数新的值，这样经过反复学习，就可以使损失函数逐步趋于最小值，也就是使网络的估计值更加准确。
具体运算过程可参考下面的文章，公式推到的过程讲解的比较浅显易懂。
https://www.cnblogs.com/charlotte77/p/5629865.html