看了很多博客，很多都把matlab的卷积操作与CNN的卷积操作混淆了。matlab的卷积是数学意义上的卷积，在做正向传播的时候需要卷积核反转180度。而CNN中卷积核是需要训练的参数，所以反转意义不大。

这里转一篇相对靠谱的解读，接下来需要看caffe的源码，如果与源码对应，那么解释是对的，如果不对应，还需要修改一些细节。

博主：https://www.cnblogs.com/pinard/p/6494810.html

在卷积神经网络(CNN)前向传播算法中，我们对CNN的前向传播算法做了总结，基于CNN前向传播算法的基础，我们下面就对CNN的反向传播算法做一个总结。在阅读本文前，建议先研究DNN的反向传播算法：深度神经网络（DNN）反向传播算法(BP)

1. 回顾DNN的反向传播算法

　　　　我们首先回顾DNN的反向传播算法。在DNN中，我们是首先计算出输出层的δL:

δ L = \partial J ( W , b ) \partial z L = \partial J ( W , b ) \partial a L ⊙ σ' (z L)

　　　　利用数学归纳法，用δl+1的值一步步的向前求出第l层的δl，表达式为：

δ l = δ l + 1 \partial z l + 1 \partial z l = (W l + 1) T δ l + 1 ⊙ σ' (z l)

　　　　有了δl的表达式，从而求出W,b的梯度表达式：

\partial J ( W , b ) \partial W l = \partial J ( W , b , x , y ) \partial z l \partial z l \partial W l = δ l (a l - 1) T

\partial J ( W , b , x , y ) \partial b l = \partial J ( W , b ) \partial z l \partial z l \partial b l = δ l

　　　　有了W,b梯度表达式，就可以用梯度下降法来优化W,b,求出最终的所有W,b的值。

　　　　现在我们想把同样的思想用到CNN中，很明显，CNN有些不同的地方，不能直接去套用DNN的反向传播算法的公式。

2. CNN的反向传播算法思想

　　　　要套用DNN的反向传播算法到CNN，有几个问题需要解决：

　　　　1）池化层没有激活函数，这个问题倒比较好解决，我们可以令池化层的激活函数为σ(z)=z，即激活后就是自己本身。这样池化层激活函数的导数为1.

　　　　2）池化层在前向传播的时候，对输入进行了压缩，那么我们现在需要向前反向推导δl−1，这个推导方法和DNN完全不同。

　　　　3) 卷积层是通过张量卷积，或者说若干个矩阵卷积求和而得的当前层的输出，这和DNN很不相同，DNN的全连接层是直接进行矩阵乘法得到当前层的输出。这样在卷积层反向传播的时候，上一层的δl−1递推计算方法肯定有所不同。

　　　　4）对于卷积层，由于W使用的运算是卷积，那么从δl推导出该层的所有卷积核的W,b的方式也不同。

　　　　从上面可以看出，问题1比较好解决，但是问题2,3,4就需要好好的动一番脑筋了，而问题2,3,4也是解决CNN反向传播算法的关键所在。另外大家要注意到的是，DNN中的al,zl都只是一个向量，而我们CNN中的al,zl都是一个张量，这个张量是三维的，即由若干个输入的子矩阵组成。

　　　　下面我们就针对问题2,3,4来一步步研究CNN的反向传播算法。

　　　　在研究过程中，需要注意的是，由于卷积层可以有多个卷积核，各个卷积核的处理方法是完全相同且独立的，为了简化算法公式的复杂度，我们下面提到卷积核都是卷积层中若干卷积核中的一个。

3. 已知池化层的δl，推导上一隐藏层的δl−1　　　

　　　　我们首先解决上面的问题2，如果已知池化层的δl，推导出上一隐藏层的δl−1。

　　　　在前向传播算法时，池化层一般我们会用MAX或者Average对输入进行池化，池化的区域大小已知。现在我们反过来，要从缩小后的误差δl，还原前一次较大区域对应的误差。

　　　　在反向传播时，我们首先会把δl的所有子矩阵矩阵大小还原成池化之前的大小，然后如果是MAX，则把δl的所有子矩阵的各个池化局域的值放在之前做前向传播算法得到最大值的位置。如果是Average，则把δl的所有子矩阵的各个池化局域的值取平均后放在还原后的子矩阵位置。这个过程一般叫做upsample。

　　　　用一个例子可以很方便的表示：假设我们的池化区域大小是2x2。δl的第k个子矩阵为:

δ l k = (2486)

　　　　由于池化区域为2x2，我们先讲δlk做还原，即变成：

⎛ ⎝ ⎜ ⎜ ⎜ 0000024008600000 ⎞ ⎠ ⎟ ⎟ ⎟

　　　　如果是MAX，假设我们之前在前向传播时记录的最大值位置分别是左上，右下，右上，左下，则转换后的矩阵为：

⎛ ⎝ ⎜ ⎜ ⎜ 2000004000060800 ⎞ ⎠ ⎟ ⎟ ⎟

　　　　如果是Average，则进行平均：转换后的矩阵为：

⎛ ⎝ ⎜ ⎜ ⎜ 0.5 0.5 11 0.5 0.5 11 22 1.5 1.5 22 1.5 1.5 ⎞ ⎠ ⎟ ⎟ ⎟

　　　　这样我们就得到了上一层 ∂J(W,b)∂al−1k的值，要得到δl−1k：

δ l - 1 k = \partial J ( W , b ) \partial a l - 1 k \partial a l - 1 k \partial z l - 1 k = u p s a m p l e (δ l k) ⊙ σ' (z l - 1 k)

　　　　其中，upsample函数完成了池化误差矩阵放大与误差重新分配的逻辑。

　　　　我们概括下，对于张量δl−1，我们有：

δ l - 1 = u p s a m p l e (δ l) ⊙ σ' (z l - 1)

4. 已知卷积层的δl，推导上一隐藏层的δl−1　　

　　　　对于卷积层的反向传播，我们首先回忆下卷积层的前向传播公式：

a l = σ (z l) = σ (a l - 1 * W l + b l)

　　　　其中n_in为上一隐藏层的输入子矩阵个数。

　　　　在DNN中，我们知道δl−1和δl的递推关系为：

δ l = \partial J ( W , b ) \partial z l = \partial J ( W , b ) \partial z l + 1 \partial z l + 1 \partial z l = δ l + 1 \partial z l + 1 \partial z l

　　　　因此要推导出δl−1和δl的递推关系，必须计算∂zl∂zl−1的梯度表达式。

　　　　注意到zl和zl−1的关系为：

z l = a l - 1 * W l + b l = σ (z l - 1) * W l + b l

　　　　因此我们有：

δ l - 1 = δ l \partial z l \partial z l - 1 = δ l * r o t 180 (W l) ⊙ σ' (z l - 1)

　　　　这里的式子其实和DNN的类似，区别在于对于含有卷积的式子求导时，卷积核被旋转了180度。即式子中的rot180()，翻转180度的意思是上下翻转一次，接着左右翻转一次。在DNN中这里只是矩阵的转置。那么为什么呢？由于这里都是张量，直接推演参数太多了。我们以一个简单的例子说明为啥这里求导后卷积核要翻转。

　　　　假设我们l−1层的输出al−1是一个3x3矩阵，第l层的卷积核Wl是一个2x2矩阵，采用1像素的步幅，则输出zl是一个2x2的矩阵。我们简化bl都是0,则有

a l - 1 * W l = z l

　　　　我们列出a,W,z的矩阵表达式如下：

⎛ ⎝ ⎜ a 11 a 21 a 31 a 12 a 22 a 32 a 13 a 23 a 33 ⎞ ⎠ ⎟ * (w 11 w 21 w 12 w 22) = (z 11 z 21 z 12 z 22)

　　　　利用卷积的定义，很容易得出：

z 11 = a 11 w 11 + a 12 w 12 + a 21 w 21 + a 22 w 22

z 12 = a 12 w 11 + a 13 w 12 + a 22 w 21 + a 23 w 22

z 21 = a 21 w 11 + a 22 w 12 + a 31 w 21 + a 32 w 22

z 22 = a 22 w 11 + a 23 w 12 + a 32 w 21 + a 33 w 22

　　　　接着我们模拟反向求导：

\nabla a l - 1 = \partial J ( W , b ) \partial a l - 1 = \partial J ( W , b ) \partial z l \partial z l \partial a l - 1 = δ l \partial z l \partial a l - 1

　　　　从上式可以看出，对于al−1的梯度误差∇al−1，等于第l层的梯度误差乘以∂zl∂al−1，而∂zl∂al−1对应上面的例子中相关联的w的值。假设我们的z矩阵对应的反向传播误差是δ11,δ12,δ21,δ22组成的2x2矩阵，则利用上面梯度的式子和4个等式，我们可以分别写出∇al−1的9个标量的梯度。

　　　　比如对于a11的梯度，由于在4个等式中a11只和z11有乘积关系，从而我们有：

\nabla a 11 = δ 11 w 11

　　　　对于a12的梯度，由于在4个等式中a12和z12，z11有乘积关系，从而我们有：

\nabla a 12 = δ 11 w 12 + δ 12 w 11

　　　　同样的道理我们得到：

\nabla a 13 = δ 12 w 12

\nabla a 21 = δ 11 w 21 + δ 21 w 11

\nabla a 22 = δ 11 w 22 + δ 12 w 21 + δ 21 w 12 + δ 22 w 11

\nabla a 23 = δ 12 w 22 + δ 22 w 12

\nabla a 31 = δ 21 w 21

\nabla a 32 = δ 21 w 22 + δ 22 w 21

\nabla a 33 = δ 22 w 22

　　　　这上面9个式子其实可以用一个矩阵卷积的形式表示，即：

⎛ ⎝ ⎜ ⎜ ⎜ 0000 0 δ 11 δ 21 0 0 δ 12 δ 22 0 0000 ⎞ ⎠ ⎟ ⎟ ⎟ * (w 22 w 12 w 21 w 11) = ⎛ ⎝ ⎜ \nabla a 11 \nabla a 21 \nabla a 31 \nabla a 12 \nabla a 22 \nabla a 32 \nabla a 13 \nabla a 23 \nabla a 33 ⎞ ⎠ ⎟

　　　　为了符合梯度计算，我们在误差矩阵周围填充了一圈0，此时我们将卷积核翻转后和反向传播的梯度误差进行卷积，就得到了前一次的梯度误差。这个例子直观的介绍了为什么对含有卷积的式子求导时，卷积核要翻转180度的原因。

　　　　以上就是卷积层的误差反向传播过程。

5. 已知卷积层的δl，推导该层的W,b的梯度　　　　

　　　　好了，我们现在已经可以递推出每一层的梯度误差δl了，对于全连接层，可以按DNN的反向传播算法求该层W,b的梯度，而池化层并没有W,b,也不用求W,b的梯度。只有卷积层的W,b需要求出。

　　　　注意到卷积层z和W,b的关系为：

z l = a l - 1 * W l + b

　　　　因此我们有：

\partial J ( W , b ) \partial W l = \partial J ( W , b ) \partial z l \partial z l \partial W l = δ l * r o t 180 (a l - 1)

　　　　由于我们有上一节的基础，大家应该清楚为什么这里求导后要旋转180度了。

　　　　而对于b,则稍微有些特殊，因为δl是三维张量，而b只是一个向量，不能像DNN那样直接和δl相等。通常的做法是将δl的各个子矩阵的项分别求和，得到一个误差向量，即为b的梯度：

\partial J ( W , b ) \partial b l = \sum u, v (δ l) u, v

6. CNN反向传播算法总结

　　　　现在我们总结下CNN的反向传播算法，以最基本的批量梯度下降法为例来描述反向传播算法。

　　　　输入：m个图片样本，CNN模型的层数L和所有隐藏层的类型，对于卷积层，要定义卷积核的大小K，卷积核子矩阵的维度F，填充大小P，步幅S。对于池化层，要定义池化区域大小k和池化标准（MAX或Average），对于全连接层，要定义全连接层的激活函数（输出层除外）和各层的神经元个数。梯度迭代参数迭代步长α,最大迭代次数MAX与停止迭代阈值ϵ

　　　　输出：CNN模型各隐藏层与输出层的W,b

　　　　1) 初始化各隐藏层与输出层的各W,b的值为一个随机值。

　　　 2）for iter to 1 to MAX：

　　　　2-1) for i =1 to m：

　　　　　　a) 将CNN输入a1设置为xi对应的张量

　　　　　　b) for l=2 to L-1，根据下面3种情况进行前向传播算法计算：

　　　　　　b-1) 如果当前是全连接层：则有ai,l=σ(zi,l)=σ(Wlai,l−1+bl)

　　　　　　b-2) 如果当前是卷积层：则有ai,l=σ(zi,l)=σ(Wl∗ai,l−1+bl)

　　　　　　b-3) 如果当前是池化层：则有ai,l=pool(ai,l−1), 这里的pool指按照池化区域大小k和池化标准将输入张量缩小的过程。

　　　　　　c) 对于输出层第L层: ai,L=softmax(zi,L)=softmax(WLai,L−1+bL)

　　　　　　c) 通过损失函数计算输出层的δi,L

　　　　　　d) for l= L-1 to 2, 根据下面3种情况进行进行反向传播算法计算:

　　　　　　d-1) 如果当前是全连接层：δi,l=(Wl+1)Tδi,l+1⊙σ′(zi,l)

　　　　　　d-2) 如果当前是卷积层：δi,l=δi,l+1∗rot180(Wl+1)⊙σ′(zi,l)

　　　　　　d-3) 如果当前是池化层：δi,l=upsample(δi,l+1)⊙σ′(zi,l)

　　　　2-2) for l = 2 to L，根据下面2种情况更新第l层的Wl,bl:

　　　　　　2-2-1) 如果当前是全连接层：Wl=Wl−α∑i=1mδi,l(ai,l−1)T， bl=bl−α∑i=1mδi,l

　　　　　　2-2-2) 如果当前是卷积层，对于每一个卷积核有：Wl=Wl−α∑i=1mδi,l∗rot180(ai,l−1)， bl=bl−α∑i=1m∑u,v(δi,l)u,v

　　　　2-3) 如果所有W，b的变化值都小于停止迭代阈值ϵ，则跳出迭代循环到步骤3。

　　　　3）输出各隐藏层与输出层的线性关系系数矩阵W和偏倚向量b。

（欢迎转载，转载请注明出处。欢迎沟通交流： [email protected]）

参考资料：

1） Neural Networks and Deep Learning by By Michael Nielsen

2） Deep Learning, book by Ian Goodfellow, Yoshua Bengio, and Aaron Courville

3） UFLDL Tutorial

4）CS231n Convolutional Neural Networks for Visual Recognition, Stanford

卷积神经网络的反向传播算法

1. 回顾DNN的反向传播算法

2. CNN的反向传播算法思想

3. 已知池化层的δl，推导上一隐藏层的δl−1

4. 已知卷积层的δl，推导上一隐藏层的δl−1

5. 已知卷积层的δl，推导该层的W,b的梯度

6. CNN反向传播算法总结

参考资料：

猜你喜欢

卷积神经网络的反向传播算法

1. 回顾DNN的反向传播算法

2. CNN的反向传播算法思想

3. 已知池化层的δlδl，推导上一隐藏层的δl−1δl−1

4. 已知卷积层的δlδl，推导上一隐藏层的δl−1δl−1

5. 已知卷积层的δlδl，推导该层的W,bW,b的梯度

6. CNN反向传播算法总结

参考资料：

猜你喜欢

3. 已知池化层的δl，推导上一隐藏层的δl−1　　　

4. 已知卷积层的δl，推导上一隐藏层的δl−1　　

5. 已知卷积层的δl，推导该层的W,b的梯度　　　　