基于BP算法的前馈神经网络

BP神经网络

首先给出只包含一个隐层的BP神经网络模型（两层神经网络）：

BP神经网络其实由两部分组成：

• 前馈神经网络：神经网络是前馈的，其权重都不回送到输入单元，或前一层输出单元（数据信息是单向传播的，不会回流），区别于循环神经网络RNN。
• BP算法（Back Propagation）：误差反向传播算法，用于更新网络中的权重。

BP神经网络思想：

• 表面上：1. 数据信息的前向传播，从输入层到隐含层，最后到输出层。2. 误差的反向传播：输出结果与真实结果的误差值，从输出层传递到隐含层，最后到输入层。
• 本质上：针对每个输入样本，采用随机梯度下降算法，动态更新网络中的权重和偏倚，以使网络的输出不断地接近期望的输出。

BP神经网络算法推导（更新权重和偏倚）：

从上面推导可以发现：

• 对于任意从神经元i（输出神经元/隐层神经元）至 神经元j（隐层神经元/输出层神经元）的权重$w_{ij}$，其权重更新量$\Delta w_{ij}$=学习步长$\eta$$\times$前一层神经元的输出（$x_{i}$或$y_{j}$）$\times$后一层神经元（$y_{j}$或$o_{k}$）的误差
• 神经元偏倚的变化量：$\Delta \Theta$=学习步长$\eta$$\times$乘以神经元的误差

BP神经网络算法过程

• 网络的初始化：包括权重和偏倚的初始化
• 计算隐含层的输入输出
• 计算输出层的输入输出
• 误差的计算：隐层和输出层的误差
• 权值的更新：1. 输入层—隐层。2. 隐层—输出层
• 偏倚的更新：神经元的步长$\eta$$\times$相应的误差err
• 判断算法迭代是否结束：1.超过迭代次数，2.相邻的两次误差之间的差别小于阈值等。

误差的反向传播描述
反向传播过程是这样的：输出层每个节点都会得到一个误差e（$d_{k}-o_{k}$），把e作为输出层反向输入，这时候就像是输出层当输入层一样把误差往回传播，先得到输出层误差$err_{k}$，然后将输出层$err_{k}$根据连接权重往隐层传输，得到隐层误差$err_{j}$。具体如下图所示（画的有点难看，将就看吧。。）

参考

1. 数据挖掘：概念与技术 第三版
2. http://blog.csdn.net/google19890102/article/details/32723459
3. http://blog.csdn.net/google19890102/article/details/32723459
4. http://www.jianshu.com/p/3d96dbf3f764