卷积神经网络-全面图解-带你了解前向后向传播的所有细节
综述
本文将会从基础的前馈神经网络入手，通过bp神经网络，引出卷积神经网络，并把专门的重点放在如何理解和实现卷积神经网络的卷积层、下采样层、全连接层、以及最终的softmax的反向传播的理解。最后实现基于python的车标识别6分类网络
其中l代表第l层
j表示第j个卷积核
Mj 表示对应的通道数量
i 表示第i个通道
ps： 这里A的上标应该是l 不是i 打错了
这里应该还有一个求和在最左边，因为这里有k个卷积核，都要相应的计算进去
这里需要解释一下，
其中，
是上层卷积层输出 
经过下采样之后的输出结果。
在CNN反向传播时，对于 
[8]，将其还原到池化层之前的大小。同时本实验是基于Max下采样，将 
中的值移动到前向传播时池化操作之每一个子矩阵原先最大的位置。其中upsample（
）表示一个上采样操作，若下采样因子为 m, 则通过上采样，将第l-1层的每个像素在水平和垂直方向上扩充m个像素, 于是就可以对应的计算从 l-1层的灵敏度上采样成卷积层 l 的灵敏度大小。
这个灵敏度也可以理解为梯度，也就是说对于 l-1 层的梯度的计算，只要把l层的梯度进行上采样，还原原来的形状大小就可以了。
这里的激活层的反向传播都是很好计算的，求导求一下就好了，并且是维度是不变的，所以很好理解
