感受野随网络深度变化的规律

以3*3*1的卷积核为例,看感受野随着神经元层数加深的变化规律,随着层数加深,神经元的感受野逐渐增加,也说明随着层数的加深,神经元的抽象程度越来越高。

4*4*1的卷积核:

5*5*1卷积核的情况:

总结:

规律,假设卷积核的长宽为N,在步长为1的情况下,每深入一层,神经元的感受野增加N-1.

比如,

3*3*1的分别为1-->3-->5-->7,公差N-1 = 3 -1 = 2.

4*4*1的分别为1-->4-->7-->10,公差N-1 = 4-1 = 3.

5*5*1的分别为1-->5-->9-->13,公差N-1 = 5-1 = 4.

可以这样理解,假设m层和m+1层,对于m+1层的第一个神经元(假设m+1层有K个神经元),要和m层的N个神经元连接,这样 m+1层还剩下K-1个神经元,而这K-1个神经元,逐个连接m层,都要比上一个多出m层的神经元,所以,这样看来,m+1层的K-1个神经元一定能够和m层的K-1个神经元构成一 一对应,有K-1个。

但是,这仅仅是m层的K-1个,m层还有最开始的2个呢?他连接了N个神经元,也要算进来,

所以m层是有K-1+N=K+(N-1)个.

所以m层神经元的感受野比m+1层的感受野扩大了  K+(N-1) - K = N-1个。

符合理论推导!

QED!


结束!

Guess you like

Origin blog.csdn.net/tugouxp/article/details/119854992