Contextual Attention Refinement Network forReal-Time Semantic Segmentation

摘要:

为了在分割精度和计算cost间平衡,提出了Contextual Attention Refinement Network(CARNet),通过注意力来指导低等级和高等级特征的融合,来提升精度。我们思考了语义信息,提出了Semantic ContextLoss(SCLoss)。

introduction

浅层提取到的特征包含更多的低等级细节,例如边缘信息。深层提取的特征包含更多的语义信息,例如带类别和属性的区域。尽管低等级特征包含更多的有用信息,但在最终推断的重要性是不等的。在这里插入图片描述在速度方面:
1.编码部分下采样,将特征变成低分辨率图像,不同于保留高分辨率的方法(eg. deeplab)
2.解码部分的计算量是适当的。因为采用 11 conv构建 CAR-Modual 。该动机有两个方面,一方面融合模块的卷积是将来自于不同阶段的特征转化到同一空间,or 调整尺寸。另一方面 11conv 能进一步减少模型计算消耗。
在精度方面:
1.适当的融合了深层和浅层的特征,增强了特征表达。
2. 添加全局语义扩展的损失函数,能使网络更好的规划context 信息,提升精度。在这里插入图片描述Attention vector 作为低等级和高等级特征融合的权重。 Sematic vector 被用于SCLoss 来指导训练过程。
Attention vector 用于增强低等级特征的重要细节。换句话说低等级的特征被 select ,在高等级 context 的指导下。 CARModule在计算方面是廉价的,并且有较好的可移植性。在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/qq_41997237/article/details/109996703