卷积神经网络中的注意力机制(Attention Mechanism)

卷积神经网络中的注意力机制(Attention Mechanism)

Attention Mechanism in Convolutional Neural Networks.

卷积神经网络中的注意力机制(Attention Mechanism)表现为在特征的某个维度上计算相应统计量，并根据所计算的统计量对该维度上的每一个元素赋予不同的权重，用以增强网络的特征表达能力。

class Attention(nn.Module):
    def __init__(self, ):
        super(Attention, self).__init__()
        self.layer() = nn.Sequential()

    def forward(self, x):
        b, c, h, w = x.size()
        w = self.layer(x)         # 在某特征维度上计算权重
        return x * w.expand_as(x) # 对特征进行加权

卷积层的特征维度包括通道维度$C$和空间维度$H,W$，因此注意力机制可以应用在不同维度上：

• 通道注意力(Channel Attention)：SENet, CMPT-SE, GENet, GSoP, SRM, SKNet, DIA, ECA-Net, S