backpropagation algorithm

搞卷积神经网络的时候突然发现自己不清楚神经网络怎么训练了，满脸黑线，借此机会复习一下把。

首先放一位知乎大佬的解释。https://www.zhihu.com/question/27239198?rf=24827633

链式法则大一的时候高数就学会了，不过如果直接利用链式法则的化冗余的计算可是发杂的网络接受不了的，bp算法的特点便是通过反向计算的方式来解决冗余计算的问题。