两个3x3卷积核替代一个5x5卷积核

AlexNet中为了增大感受野使用了$11\times 11$、$5\times 5$和$3\times 3$三种卷积核。而VGG16说明了两个$3\times 3$的卷积核和一个$5\times 5$的卷积核感受野相同，从而可以使用两个$3\times 3$的卷积核替代一个$5\times 5$的卷积核。同理，可以使用三个$3\times 3$的卷积核替代一个$7\times 7$的卷积核，使用四个$3\times 3$的卷积核替代一个$9\times 9$的卷积核，依次类推。

1 为什么两个$3\times 3$的卷积核和一个$5\times 5$的卷积核感受野相同

1.1 用图说明

如下图所示：

1.2 计算说明

假设feature map是$28\times 28$的，假设卷记的步长$step=1$，$padding=0$：

1. 使用一层$5\times 5$卷积核，由$(28-5)/1+1=24$可得，输出的feature map为$24\ast 24$的
2. 使用两层$3\times 3$卷积核
   1. 第一层，由$(28-3)/1+1=26$可得，输出的feature map为$26\times 26$的
   2. 第二层，由$(26-3)/1+1=24$可得，输出的feature map为$24\times 24$的

可以看到最终结果两者相同。

2 使用小卷积代替打卷机的好处

1. 保证具有相同感受野的条件下，提升了网络的深度，在一定程度上提升了网络效果（从这点来说，也说明了ResNet的巨大作用）
2. 保证具有相同感受野的条件下，减少了计算量和参数量