《机器学习(周志华)》笔记--神经网络（4）--误差逆传播算法(BP)：BP算法、BP算法推导

三、误差逆传播算法(BP)

   1、BP算法

　　多层网络的学习能力比单层感知机强得多。欲训练多层网络，简单感知学习规则显然不够了，需要更强大的学习算法。误差逆传播(errorBackPropagation，简称BP)算法就是其中最杰出的代表。BP算法是迄今最成功的神经网络学习算法。

　　BP网络：用BP算法训练的多层前馈神经网络。

　　　　

　　需通过学习确定的参数数目：(d+1)*q+(q+1)*l 。

  2、BP算法推导

　　可利用梯度下降法修改权值向量和阈值，需通过学习确定的参数：

　　　　（1）输入层与隐层之间的权值

　　　　（2）隐层神经元的阈值

　　　　（3）隐层与输出层之间的权值

　　　　（4）输出层的阈值

　　　　　　

 　　　　　　     　　    

推算过程：

 　　　　　　　　　　

　　　　　　　　　　 

　　　　　　　　　　

总结：