10、ECA-CBAM:一种可行的轻量级卷积注意力机制

0、前言:

       自己之前搞过CBAM机制,模块里面并没有做多少的改动,只是把CBAM稀里糊涂的加在了孪生神经模型里面,而且当时还真的把CBAM加在了CNN正确的位置,当时结果好我也说不清。现在比之前有了长足的长进,对CBAM做一个更大的改进,把ECA结构加在CBAM中,做一个全新的创新注意力机制:ECA-CBAM(简称:EC注意力块),然后根据注意力添加在CNN中的正确位置加在一个CNN中,形成EC-CNN(ECCNN)模型。对于这种的改进思路,目前没人做过,现在自己也早把改进的代码写完。具体思路如下:

1、Attention机制在CNN中的应⽤:

        近年来,注意⼒机制被证实在提⾼CNN上具有很⾼的前景,Attention结构的复杂度和参数量对于 CNN来说更⼩更少,因此带来的计算开销也较⼩。添加了注意⼒机制的CNN模型,不仅可以通过⾃⼰ 原有的卷积操作作为重要的提取⽬标特征的⼿段,⽽且可以将这些提取好的特征送给Attention机制进⾏校正,校正好的特征保留了原有的价值特征,剔除了没有价值的特征,这让模型能够忽略背景特征,更加关注需要抓取的特征信息(相当于给深度学习模型加了⼀双眼睛,使得模型更加关注重要的 特征)。Attention通常在模型中通过Channel和Sptial两个维度对input data进⾏关联。

2、Attention怎么⽤?(在模型中的穿插位置)

A:在卷积操作前

猜你喜欢

转载自blog.csdn.net/mantoudamahou/article/details/134294060
今日推荐