论文阅读 Stepwise Feature Fusion: Local Guides Global

1,另一个ssfomer

我在找论文时发现,把自己的分割模型命名为ssformer的有两个:,一个论文SSformer: A Lightweight Transformer for Semantic Segmentation中提出的一种轻量级Transformer模型,结构如下

这个结构很简单,就是在用MLP层处理一下不同层的swin transformer block特征,然后融合。

这个没什么太多好说的。

2,我们要说的ssformer

我们要重点说的ssformer是Stepwise Feature Fusion: Local Guides Global这篇。

这篇论文的模型采用金字塔Transformer作为编码器,并提出了一种全新的解码器PLD。

整体结构如下:

3,编码器分支

编码器采用了PVTv2(Pyramid Vision Transformer v2)的设计,该设计在Segformer中也有所使用。PVTv2是一种用于图像识别任务的Transformer架构,它通过使用卷积操作来替代传统Transformer中的位置上的嵌入(PE)操作,以保持空间信息的一致性并提供出色的性能和稳定性。

4,解码器分支PLD

PLD的设计旨在解决Transformer模型在处理密集预测任务时可能出现的注意力分散问题,并强调局部特征以改善细节处理能力。

PLD由局部强调模块LE和渐进式特征聚合模块(SFA)组成。

LE模块使用卷积操作来混合每个补丁周围的特征,从而增加相邻补丁与中心补丁之间的关联权重,强调局部特征。由于不同深度的特征流具有不同类型的特征,LE模块在特征金字塔的不同层级上使用不同的卷积权重。

5,实验结果

猜你喜欢

转载自blog.csdn.net/wwimhere/article/details/136638379