两次3*3的卷积和一次5*5的卷积那个更优？

感受野概念

    如上图所示，一个5x5的原图像，经过一次5*5的卷积核之后得到一个像素点。同样，经过两次3*3的卷积核之后也得到了一个像素点。
    这说明，一次5*5卷积之后的特征图和2次3*3卷积之后的特征图的感受野都相同，均为25。那么这两种卷积方式那个更优呢？
    这个问题要从其计算量入手，即卷积运算当中的乘加运算----每个像素点都要经过乘加运算。

计算量（乘加运算）=‘卷积次数’ x ‘参数量’

假如原始图像尺寸为5x5

    第一种卷积核（5*5）,其参数量为5*5=25个，卷积次数为1次，故计算量为25*1=25次。

    第二种卷积核（3*3）,其参数量为3*3+3*3=18个，卷积次数为9+1=10次，计算量为10*3*3=90次。

    很明显第一种卷积核（5*5）的计算量（25次）要小于2次3*3的卷积核的计算量（90次）。

假如原始图像尺寸为x

    但如果是其余尺寸呢？我们不妨设新的图像尺寸为x，即w,h均为x。（步长为1，不填充）

    第一种卷积核（5*5）,其参数量为5*5=25个，卷积次数为（x-4）^2次。(减4是因为卷积的操作，在不填充零的情况下会损失左、右边各两个元素）
    故计算量为25*(x-4)²=25x²-200x+400次。

    第二种卷积核（3*3）*2,其参数量为3*3+3*3=18个，卷积次数为（x-2）²+（x-2-2）²次。(减2是因为卷积的操作，在不填充零的情况下会损失左右边各1个元素.第二部分减2再减2是因为进行了第二次卷积，输出的特征图更小了。）
    故计算量为18*[(x-2)²+(x-2-2)²]=18x²-108x+180次。
    接下来只需要比较下面两个式子的大小来就可以了，即:25x²-200x+400和18x²-108x+180

结论

    用初中的二次函数知识，求其临界值（取整数）
x=10，当x>10时，下面的式子（即两层3*3）要小于上面的式子，说明两层3*3的卷积核的计算量要小于一层5*5的卷积核的计算量。

    所以，在原图像尺寸大于10*10像素时，两层3*3的卷积核要优于一层5*5的卷积核。