1x1的卷积-模型压缩

版权声明:本文为博主原创文章,转载请注明出处:http://blog.csdn.net/shine19930820 https://blog.csdn.net/shine19930820/article/details/81987147

什么是卷积?

如图:图3

详细见卷积介绍。

1x1的卷积如何实现模型压缩

对于channel为1的图像,没有作用,对于大于1的图像就凸显作用了。

举个例子,如图,输入图像是28x28x192,输出是28x28x32。

如果卷积核为5x5x32时候,参数量是:(5x5x32 + 1)x 192 = 153792。

img

中间加入一层1x1的卷积,降低输入的channel,再使用同样卷积核,参数量为:

(1x1x16+ 1)x192 + (5x5x32 + 1)x16 = 16080,降低为原来:十分之一


因此这1x1的卷积核也被称为瓶颈层(bottleneck layer)

性能?

1x1的卷积和被广泛应用,合理的构建bottleneck layer,可以显著减少参数,加速训练,且不降低网络性能,具体见吴恩达课程,youtobe网易云课程

Reference

https://www.quora.com/How-do-you-implement-1x1-convolutions-in-CNNs-and-what-is-the-advantage-of-doing-so

猜你喜欢

转载自blog.csdn.net/shine19930820/article/details/81987147