Pool层及其公式推导

在CNN网络中卷积池之后会跟上一个池化层，池化层的作用是提取局部均值与最大值，根据计算出来的值不一样就分为均值池化层与最大值池化层，一般常见的多为最大值池化层

设 $a^{l-1}=\sigma(z^{l-1})$

前向传播

`maxpool`

前向传播会记录每次pool的核移动stride后所在区域里的最大值,和最大值所在坐标
这里以pool的核的大小为3x3,stride=1为例,则pool后的值的输出和最大值所在坐标如下图:
设pool层输出为 $a^l$

a_{i j}^{l} = m a x (a_{m n}^{l - 1}), i \leq m, n \leq i + 2 其 中 m, n 为 a_{i j}^{l - 1} 对 应 的 p o o l 核 覆 盖 的 区 域, 如 下 左 图 a_{00} 对 应 区 域 为 红 框 所 标 记 的 区 域

$a_{ij}^l=max(a_{mn}^{l-1}),i \leq m,n \leq i+2其中m,n为a_{ij}^{l-1}对应的pool核覆盖的区域,如下左图a_{00}对应区域为红框所标记的区域$
这里写图片描述

`avg pool`

这里pool核的大小为3x3,stride=1
这里写图片描述

反向传播

`maxpool`

由于pool层没有参数,所以没必要求梯度,主要将相关的梯度传下即可:

δ_{k, v}^{l - 1} = \frac{\partial C}{\partial z_{k, v}^{l - 1}} = \sum_{i j}^{i = 3, j = 3} \frac{\partial C}{\partial a_{i j}^{l}} \frac{\partial a_{i j}^{l}}{\partial a_{k, v}^{l - 1}} \frac{a_{k, v}^{l - 1}}{\partial z_{k, v}^{l - 1}}

$\delta_{k,v}^{l-1}=\frac {\partial C}{\partial z_{k,v}^{l-1}}=\sum_{ij}^{i=3,j=3}\frac {\partial C}{\partial a_{ij}^{l}}\frac{\partial a_{ij}^l}{\partial a_{k,v}^{l-1}}\frac{a_{k,v}^{l-1}}{{\partial z_{k,v}^{l-1}}}$

而由于

a_{i j}^{l} = m a x (a_{m n}^{l - 1}) = a_{i_{m a x}, j_{m a x}}^{l - 1}, i_{m a x}, j_{m a x} 代 表 a_{i j}^{l} 对 应 的 p o o l 核 区 域 最 大 的 那 个 元 素 的 索 引

$a_{ij}^l=max(a_{mn}^{l-1})=a_{i_{max},j_{max}}^{l-1},{i_{max},j_{max}}代表a_{ij}^l对应的pool核区域最大的那个元素的索引$

所以:

δ_{k, v}^{l - 1} = \sum_{i j}^{i = 3, j = 3} {[(k = i_{m a x}, v = j_{m a x}) ? (\frac{\partial C}{\partial a_{i j}^{l}} \frac{\partial a_{i j}^{l}}{\partial z_{i_{m a x}, j_{m a x}}^{l - 1}}) : 0] \frac{a_{k, v}^{l - 1}}{\partial z_{k, v}^{l - 1}}} = \sum_{i j}^{i = 3, j = 3} {(k = i_{m a x}, v = j_{m a x}) ? \frac{\partial C}{\partial a_{i j}^{l}} : 0] σ^{'} (z_{k, v}^{l - 1})}

$\delta_{k,v}^{l-1}=\sum_{ij}^{i=3,j=3} \lbrace [(k=i_{max},v=j_{max})?\big(\frac {\partial C}{\partial a_{ij}^{l}}\frac{\partial a_{ij}^l}{\partial z_{i_{max},j_{max}}^{l-1}}\big):0]\frac{a_{k,v}^{l-1}}{{\partial z_{k,v}^{l-1}}}\rbrace=\sum_{ij}^{i=3,j=3} \lbrace (k=i_{max},v=j_{max})?\frac {\partial C}{\partial a_{ij}^{l}}:0]\sigma'(z_{k,v}^{l-1})\rbrace$
为方便书写,这里直接用了三目运算符了:D

为了统一敏感度图公式,如果设 $a_{i,j}^l=z_{i,j}^l=a_{i_{max},j_{max}}^l$
那么池化层的敏感度图 $\delta^l=\frac {\partial C}{\partial z^l}=\frac {\partial C}{\partial a^l}$
设一直pool层敏感度图如下:
这里写图片描述

那么pool上一层敏感度图为:
这里写图片描述
其中:

\begin{aligned} p_{10} = (δ_{00} + δ_{01} + δ_{10} + δ_{20} + δ_{21}) σ^{'} (z_{10}^{l - 1}) \\ p_{02} = δ_{02} + δ_{03} σ^{'} (z_{02}^{l - 1}) \\ p_{22} = δ_{11} + δ_{12} + δ_{13} + δ_{22} + δ_{23} + δ_{31} + δ_{32} + δ_{33} σ^{'} (z_{22}^{l - 1}) \\ p_{30} = δ_{30} σ^{'} (z_{30}^{l - 1}) \end{aligned}

$\begin{split} &p_{10}=(\delta_{00}+\delta_{01}+\delta_{10}+\delta_{20}+\delta_{21})\sigma'(z_{10}^{l-1})\\ &p_{02}=\delta_{02}+\delta_{03}\sigma'(z_{02}^{l-1})\\ &p_{22}=\delta_{11}+\delta_{12}+\delta_{13}+\delta_{22}+\delta_{23}+\delta_{31}+\delta_{32}+\delta_{33}\sigma'(z_{22}^{l-1})\\ &p_{30}=\delta_{30}\sigma'(z_{30}^{l-1}) \end{split}$

`avg pool`

同样设
$a_{i,j}^l=z_{i,j}^l=a_{i_{max},j_{max}}^l$
敏感度图: $\delta^l=\frac {\partial C}{\partial z^l}=\frac {\partial C}{\partial a^l}$

设当前pool层敏感度图为:
这里写图片描述

所以上一层的敏感度图:

δ_{k, v}^{l - 1} = \sum_{i j}^{i = 2, j = 2} \frac{\partial C}{\partial a_{i j}^{l}} \frac{\partial a_{i j}^{l}}{\partial a_{k, v}^{l - 1}} \frac{\partial a_{k, v}^{l - 1}}{\partial z_{k, v}^{l - 1}}

$\delta_{k,v}^{l-1}=\sum_{ij}^{i=2,j=2}\frac {\partial C}{\partial a_{ij}^{l}}\frac{\partial a_{ij}^l}{\partial a_{k,v}^{l-1}}\frac{\partial a_{k,v}^{l-1}}{\partial z_{k,v}^{l-1}}$
即:

\begin{aligned} δ_{00}^{l - 1} = \frac{1}{9} δ_{00}^{l} σ^{'} (z_{00}^{l - 1}) \\ δ_{01}^{l - 1} = \frac{1}{9} δ_{00}^{l} σ^{'} (z_{01}^{l - 1}) + \frac{1}{9} δ_{01} σ^{'} (z_{01}^{l - 1}) \\ . . . \\ δ_{33}^{l - 1} = \frac{1}{9} δ_{33}^{l} σ^{'} (z_{33}^{l - 1}) \end{aligned}

$\begin{split} &\delta_{00}^{l-1}=\frac 1 9\delta_{00}^l\sigma'( z_{00}^{l-1})\\ &\delta_{01}^{l-1}=\frac 1 9\delta_{00}^l\sigma'( z_{01}^{l-1})+\frac 1 9\delta_{01}\sigma'( z_{01}^{l-1})\\ ...\\ &\delta_{33}^{l-1}=\frac 1 9\delta_{33}^l\sigma'( z_{33}^{l-1})\\ \end{split}$

自己推到过,才发现网上所述略有误差