https://blog.csdn.net/raintungli/article/details/76583070
前向传播和反向传播最好的实例就是自己算一一遍。跟着链接一步步走一定能明白的。
所以前向传播并不能带来学习的效果，而反向传播才是学习效果的关键。
关于梯度的问题，反向传播很明显是使用了梯度了。里面的梯度是为了看权值对误差的影响，这里的误差就是我们的lossfunction啦～～
公式就是w =w +学习率*lossfunction对w的梯度。
所以梯度爆发和梯度消失，反向传播是很关键的。因为如果你读了上面你就发现梯度是由很多相乘的，如果里面有小数就会导致约来越小，所以梯度消失，权值无法变化，学习没了。
要么就越来越大，到了不可收拾的 地步。特别是激活函数不行的时候，因为你的梯度里面会涉及到激活函数。所以我们用relu多点，而很少用sigmoid