pytorch代码实现注意力机制之PfAAM_Attention

PfAAM注意力机制

PfAAM注意力机制是2022年提出的一种无参注意力机制，能够实现即插即用，结合通道注意力和空间注意力。
论文地址：https://arxiv.org/abs/2210.07828

代码如下：

import torch
from torch import nn

class PfAAMLayer(nn.Module):
    def __init__(self, c1, c2, ratio=16):
        super(PfAAMLayer, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.sigmoid = nn.Sigmoid()
        
    def forward(self, x):
        b, c, _, _ = x.size()
        y = self.avg_pool(x).view(b, c, 1, 1).expand_as(x)
        z = torch.mean(x, dim=1, keepdim=True).expand_as(x)
        return x * self.sigmoid(y*z)