深度学习感受野计算公式推导（前向/反向详解）

Receptive Field

感受野指的是一个特定的特征图上的某个点在输入空间所受影响的区域。

forward

从浅层往深层计算。

示意图说明：

​图中共有三层，图像层img，第一层map1，第二层，map2。为了方便推导，我们使用一维卷积进行演示。一个正方框表示一个像素点，长条状的就是卷积核，为了清楚的分辨出卷积核移动的位置，做了颜色差别处理和长宽放大。箭头所指的是经过这次卷积后产生的图像。

---

符号定义：

$$\begin{array}{rl}& l:layer特征图层次\\ & r_l:第l层感受野大小\\ & k_l:第l层卷积核大小\\ & s_l:第l层卷积步长\end{array}$$

$$\begin{array}{r}first=\{\begin{array}{l}{k}_1=4\\ s_2=3\end{array}\\ second=\{\begin{array}{l}{k}_2=3\\ s_1=1\end{array}\end{array}$$
第一层卷积核fisrt大小为4，步长为3，第二层卷积核second大小为3，步长为1。

规定$r_0=1$表示图像层的感受野大小为1。推导过程中，大家可以自行发挥推导过层，其中我们可以用手动数来验证我们的推导公式是否正确。

$r_1$表示第一层，即map1层。第一层感受野大小为4。显然：
$$r_1=k_1=4$$

$r_2$表示第二层，即map2层。第二层感受野大小为10。显然:
$$r_2\ne k_2=3$$
显然:
$$r_2\ne k_2\ast k_1=12$$
当我们计算第二层$r_2$时，看图！感受野大小与第二层卷积核(k=3) 将 第一层map1中套起来的三个像素有关。可这三个像素在img层中涉及到的像素有重叠的。所以不能直接所不能简单的使卷积核的相乘。

---

第i层和i-2层的关系

接下来，我将解析如何将感受野与卷积核建立联系，此推导过程可类比于输出图像的计算公式推导。

计算$r_2$，就是计算第二层map2上一个紫框包含几个img层的方框。

首先，我们看到第二层的一个紫框在第一层map1上包括的范围。其个数为第二层卷积核的大小$k_2$

然后我们把感受野大小计算公式分解为：首项+其他项

既然上面提到有重叠，那我们利用首项+其他项的思想去重叠。

首项计算：map1中的第一个蓝框作为首项，单独拿出来，它所占的感受野大小为$k_1$。

其他项：map1中第二红框，第三绿框作为其他项，一共$(k_2-1)$个框。每个框在img上的包裹的像素大小为步长$s_1$，(黄色虚线之间)。这样计算是没有重叠的。总共包括的感受野大小为：$(k_2-1)\ast s_1$

综上：
$$r_2=(k_2-1)\ast s_1+k_1$$
此时我们建立了，第$i$层和第$i-2$层的关系。即第二层map2一个方框在图像层img包含的像素的个数。

第三层：
$$r_3=(k_3-1)\ast s_2+k_2$$

重新回顾下，计算第二层的$r_2$在img层的包含像素个数时，利用的是第二层卷积核$k_2$在第一层map1包含方框的个数,一共包含$k_2$个。

此时我们根据上述$r_3$公式，知道了第三层map3在第一层map1中包含的方框的个数。

将第三层map3在map1中的个数($r_3$个)替换$r_2$中的个数$k_2$，即可得到第三层map3在img图像上包含的像素的个数。
即第三层感受野大小：
$$r_3=(((k_3-1)\ast s_2+k_2)-1)\ast s_1+k_1$$

---

第i层和第i-1层的关系

建立第i层和第i-1层的关系。

联立$r_2,r_3$，消去$k_1$，得到
$$\begin{array}{rl}& \{\begin{array}{l}{r}_2=(k_2-1)\ast s_1+k_1\\ r_3=(((k_3-1)\ast s_2+k_2)-1)\ast s_1+k_1\end{array}\\ ⟹& r_3=(k_3-1)\ast s_2\ast s_1+r_2\end{array}$$

归纳：
$$\{\begin{array}{l}{r}_1=k_1,k=1\\ r_l=(k_l-1)s_{l-1}\ast s_{l-2}\ast \cdots \ast s_1+r_{l-1},k>1\end{array}$$
令$s_0=1,r_0=1$,则：
$$r_l=(k_l-1)\prod _{i=0}^{l-1}{s}_i+r_{l-1}$$
由推导过程和结果，我们可以观察到以下结论：

a)感受野大小与滤波器大小和之前所有层卷积核步长有关系；

b)计算感受野大小时，与padding的大小无关，即图像边缘填充无影响。

backward

倒推，从深层往浅层递推。

符号定义：
$$\{\begin{array}{l}R(l,i):表达第l层在第i层上感受野大小，其中i<l。\\ R(l,0):表示第l层在图像上的感受野大小\\ k_l:第l层卷积核大小\\ s_l:第l层卷积步长\end{array}$$

首先，在自身特征图上的感受野大小为1，即$R(2,2)=1$

map2在map1上包含像素的大小很简单,一眼就看出是卷积核大小
$$R(2,1)=k_2=3$$

但map2在img图像上包含像素的大小却并不是直接卷积核相乘。

同样，我们再利用首项+其他项的数学思想。可以得到。

首项个数始终为1，其他项个数为$R(2,1)-1$.其中首项大小为当前感受野大小，其他项为步长。

即可得到map2在img上感受野大小。
$$\begin{array}{rl}R(2,0)& =(R(2,1)-1)\ast s_1+k_1\\ & =(3-1)\ast 3+4\\ & =10\end{array}$$

归纳：
R ( l , l − 1 ) = k l R ( l , l − 2 ) = ( R ( l , l − 1 ) − 1 ) ∗ s l − 1 + k l − 1 R ( l , l − 3 ) = ( R ( l , l − 2 ) − 1 ) ∗ s l − 2 + k l − 2 ⋯ ⋯ R ( l , 0 ) = ( R ( l , 1 ) − 1 ) ∗ s 1 + k 1 \begin{aligned} &R(l,l-1)=k_l\\ &R(l,l-2)=(R(l,l-1)-1)*s_{l-1}+k_{l-1} \\ &R(l,l-3)=(R(l,l-2)-1)*s_{l-2}+k_{l-2} \\ & \cdots \cdots \\ &R(l,0)=(R(l,1)-1)*s_1+k_1 \end{aligned} ​R(l,l−1)=kl​R(l,l−2)=(R(l,l−1)−1)∗sl−1​+kl−1​R(l,l−3)=(R(l,l−2)−1)∗sl−2​+kl−2​⋯⋯R(l,0)=(R(l,1)−1)∗s1​+k1​​
证明上面第一项$R(l,l-1)$也符合通项公式。
$$\begin{array}{rl}& \because R(l,l)=1\\ & \therefore (R(l,l)-1)\ast s_l=0\\ & \therefore R(l,l-1)=(R(l,l)-1)\ast s_l+k_l\end{array}$$
综上，我们得到一个从后往前迭代的一个数列，可以计算$l$层在图像层上的感受野大小。
$$\begin{array}{rl}& 首项：R(l,l)=1\\ & 递推公式：R(l,l-1)=(R(l,l)-1)\ast s_l+k_l\end{array}$$

代码实现：

R=1
for layer in range(layers,0,-1):
    R = (R - 1) * stride[layer] + fsize[layer]