膨胀卷积(Dilated convolution)

转载自:https://blog.csdn.net/qq_27586341/article/details/103131674
Dilated conv:中文叫做空洞卷积或者扩张卷积,起源于语义分割,大部分文章也用于语义分割,具体能否对其他应用有价值姑且还不知道,但确实是一个不错的探究方向。

感受野(receptive field):CNN中,某一层输出结果中一个元素所对应的输入层的区域大小,感受野是卷积核在图像上看到的大小,例如3×3卷积核的感受野大小为9。越大的感受野包含越多的上下文关系。

膨胀卷积与普通的卷积相比:除了卷积核的大小以外,还有一个扩张率(dilation rate)参数,主要用来表示膨胀的大小。
膨胀卷积与普通卷积的相同点在于:卷积核的大小是一样的,在神经网络中即参数数量不变,区别在于膨胀卷积具有更大的感受野

对比传统的conv操作,3层3x3的卷积加起来,stride为1的话,只能达到(kernel-1)*layer+1=7的感受野,也就是和层数layer成线性关系,而dilated
conv的感受野是指数级的增长。

适用情况:在图像需要全局信息、语音文本需要较长的sequence信息依赖的问题中,都能很好的应用dilated conv。

膨胀卷积:保持参数个数不变的情况下增大了卷积核的感受野,让每个卷积输出都包含较大范围的信息;同时它可以保证输出的特征映射(feature map)的大小保持不变。一个扩张率为2的3×3卷积核,感受野与5×5的卷积核相同,但参数数量仅为9个,是5×5卷积参数数量的36%。

在这里插入图片描述

感受野:d*f + (d-1)

(a) 普通卷积,1-dilated convolution,卷积核的感受野为3×3=93×3=9。 13 + 0
(b) 膨胀卷积,2-dilated convolution,卷积核的感受野为7×7=497×7=49。 2
3 + 1
© 膨胀卷积,4-dilated convolution,卷积核的感受野为15×15=22515×15=225。 4*3 + 3

猜你喜欢

转载自blog.csdn.net/weixin_44025103/article/details/130070322