深度学习中的注意力机制模型ECANet

目录

ECANet简介

ECA Module

ECANet 性能对比 


ECANet简介

Efficient Channel Attention Module 简称 ECA,2020年 Qilong Wang等人提出的一种 高效通道注意力(ECA)模块 ;

提出了一种 不降维的局部跨通道交互策略 ,有效避免了降维对于通道注意力学习效果的影响 ;

该模块只涉及少数几个 参数,但具有明显的 效果增益 ;

适当的 跨通道交互 可以在保持 性能 的同时 显著降低模型的复杂性。

论文地址

研究表明,SENet采用的 降维操作 会对通道注意力的预测产生 负面影响,且获取依赖关系效率低且不必要 ;基于此,提出了一种针对CNN的高效通道注意力(ECA)模块,避免了降维,有效地实现了 跨通道交互

特点:
(1)通过大小为 k 的快速一维卷积实现,其中核大小k表示 局部跨通道交互 的覆盖范围,即有多少领域参与了一个通道的注意预测 ;
(2)为了避免通过交叉验证手动调整 k,开发了一种 自适应方法 确定 k,其中跨通道交互的覆盖范围 (即核大小k) 与通道维度成比例 ;

ECA Module

注意力模块的开发 大致可以分为两个方向:

(1)增强特征聚合;
(2)通道与空间注意的结合 ;

ECA模块使用不降维的GAP聚合卷积特征后,首先自适应确定核大小k,然后进行一维卷积,再进行 Sigmoid 函数学习 channel attention ; 

ECANet 性能对比 

 分别使用 ResNetResNet+SENetResNet+CBAMResNet+ECANet 进行实验得到 模型参数量-准确率 结果 :

 

 实验表明 ECANet 性能超越了 SENet和CBAM。

猜你喜欢

转载自blog.csdn.net/L888666Q/article/details/127669393