BP算法数学推导

BP算法是根据链式求导法则推导得出的，在此我们以2层神经网络结构演示反向推导过程。

一、2层神经网络结构（不含输入层）

二、BP算法数学推导

1.正向计算过程

输入层：  

第一层：  

                

第二层：  

                

代价函数：

2.反向推导过程

对W2求偏导：

对W1求偏导：

对其进行步骤拆分：

对于W2:   

                 

 

对于W1:     

                 

 

梯度下降更新权值：

注：（1）是学习率,用以调节每一步下降的幅度。

       （2）