1. GAM アテンションメカニズム:
画像分析：
全体的に見て、GAM と CBAM の注意メカニズムは比較的類似しており、チャネル 注意メカニズムと空間注意メカニズムも使用されていることがわかります。ただし、違いはチャネル アテンションと空間アテンションの処理です。
2. CBAMの注目度分析
CBAM = CAM + BAM
- チャネル アテンションの処理については、
まず入力特徴マップに対して最大プーリングと平均プーリングが実行され、次に MLP によって個別に処理され、最後に Sigmoid によってアクティブ化されます。 - 空間アテンションの処理では、
特徴マップに対して最大プーリングと平均プーリングを実行し、それらを重ね合わせてから畳み込みを実行し、シグモイド アクティベーション関数を通じて処理します。
3.GAMの改善
CBAM を理解した後、GAM が最初のチャネル、次にスペースでもある CAM と SAM をどのように処理するかを見てみましょう。
- 入力された特徴マップは、まずCAMで
次元変換を行い、次元変換後の特徴マップをMLPに入力し、元の次元に変換してシグモイド処理出力を行います。 - サム
SAM の場合、GAM は主に畳み込み処理を使用します。これは、ここでの SE アテンション メカニズムに少し似ており、最初にチャネル数を減らし、次にチャネル数を増やします。まず、コンボリューションカーネル7で畳み込み演算によりチャネル数を減らして計算量を削減し、コンボリューションカーネル7でコンボリューション演算を行った後、チャネル数を一定にするためにチャネル数を増やします。最後にSigmoid経由で出力します。
4. GAM の pytorch 実装
GAM の pytorch 実装コードは次のとおりです。コードは公式のものとは多少異なる場合がありますが、画像を見て再現しています。
"""
GAM 注意力机制：对CBAM注意力进行改进
先通道注意力，再空间注意力
"""
import torch
import torch.nn as nn
# 通道注意力
class Channel_Attention(nn.Module):
def __init__(self, in_channel, out_channel, ratio=4):
super(Channel_Attention, self).__init__()
self.fc1 = nn.Linear(in_channel, in_channel // ratio)
self.relu = nn.ReLU()
self.fc2 = nn.Linear(in_channel // ratio, in_channel)
self.sig = nn.Sigmoid()
def forward(self, x):
# b, c, h, w = x.size()
input = x.permute(0, 3, 2, 1)
output = self.fc2(self.relu(self.fc1(input)))
output = output.permute(0, 3, 2, 1)
return output * x
# 空间注意力
class Spatial(nn.Module):
def __init__(self, in_channel, out_channel, ratio, kernel_size=7):
super(Spatial, self).__init__()
padding = kernel_size // 2
self.conv1 = nn.Conv2d(
in_channel, in_channel // ratio, kernel_size=7, padding=padding
)
self.bn = nn.BatchNorm2d(in_channel // ratio)
self.act = nn.ReLU()
self.conv2 = nn.Conv2d(
in_channel // ratio, in_channel, kernel_size=kernel_size, padding=padding
)
self.bn1 = nn.BatchNorm2d(in_channel)
self.sig = nn.Sigmoid()
def forward(self, x):
conv1 = self.act(self.bn(self.conv1(x)))
conv2 = self.bn1(self.conv2(conv1))
output = self.sig(conv2)
return x * output
class GAM(nn.Module):
def __init__(self,in_channel, out_channel, ratio = 4, kernel_size = 7):
super(GAM, self).__init__()
self.channel_attention = Channel_Attention(in_channel,out_channel,ratio)
self.spatial_attention = Spatial(in_channel,out_channel,ratio,kernel_size)
def forward(self, x):
input = self.channel_attention(x)
output= self.spatial_attention(input)
return output
input = torch.randn(1, 4, 24, 24).cuda()
model = GAM(4, 4).cuda()
output = model(input)
print(output)
print(output.size())
# 20220928