CNN反向传播训练参数过程

一、前言

        对于使用BP算法进行CNN参数训练的过程，网上已有很多资料，这里结合论文Notes on Convolutional Neural Networks, Jake Bouvrie以及一些博客资料做总结，并附加上一些自己的理解。

二、神经网络BP算法

2.1、前向传播过程

2.2、反向传播过程

三、BP算法在CNN中的应用

3.1、采用softmax交叉熵代价函数时输出层灵敏度计算

3.2、全连接层的前一层为池化层时，求池化层的灵敏度计算及权值与偏置的梯度

3.3、池化层的前一层为卷积层时，求卷积层的灵敏度及权重与偏置的梯度

3.4、卷积层的前一层为池化层时，求卷积层灵敏度及卷积核权值梯度与偏置梯度

四、参考资料

http://blog.csdn.net/evan123mg/article/details/40149457
http://blog.csdn.net/zouxy09/article/details/9993371
《视觉机器学习20讲》中CNN章节