BP算法由信号的正向传播和误差的反向传播两个过程组成。
正向传播时，输入样本从输入层进入网络，经隐层逐层传递至输出层，如果输出层的实际输出与期望输出(导师信号)不同，则转至误差反向传播；如果输出层的实际输出与期望输出(导师信号)相同，结束学习算法。
反向传播时，将输出误差(期望输出与实际输出之差)按原通路反传计算，通过隐层反向，直至输入层，在反传过程中将误差分摊给各层的各个单元，获得各层各单元的误差信号，并将其作为修正各单元权值的根据。这一计算过程使用梯度下降法完成，在不停地调整各层神经元的权值和阈值后，使误差信号减小到最低限度。
权值和阈值不断调整的过程，就是网络的学习与训练过程，经过信号正向传播与误差反向传播，权值和阈值的调整反复进行，一直进行到预先设定的学习训练次数，或输出误差减小到允许的程度。
详细的计算求解过程：https://www.cnblogs.com/duanhx/p/9655213.html
一篇写得比较好的文章：http://baijiahao.baidu.com/s?id=1603526007545961785&wfr=spider&for=pc
接下来了解梯度下降算法：
梯度下降算法数学本质上就是求导数的过程。
贴一篇讲的比较全面的文献：https://www.jianshu.com/p/c7e642877b0e