阅读笔记《Changer: Feature Interaction is What You Need for Change Detection》

论文贡献如下:

  1. 提出MetaChanger与变化检测中的特征交互的概念
  2. 提出两个特定特征交互层 aggregation-distribution和feature exchange

为什么在变化检测中需要特征交互?

它是同质/异质特征在融合之前的特征提取阶段的相关性或通信。

  1. 感知双时间图像的上下文信息
  2. 特征交换后,两分支特征更相似,相当于自动预适应。

在这里插入图片描述
ChangerMeta都包含什么特别的结构?
在这里插入图片描述
(a)MetaChanger的交互层
(b)baseline,用做对比实验。中间换成了直接映射层。
(c)AD特征交互层:aggregation-distribution。先进行元素加,再全局平均池化,两层MLP(第一层压缩,第二层扩张通道)。将结果进行sigmoid操作与原特征操作,相当于赋予注意力权重。
在这里插入图片描述
(d)特征交换:feature exchange
包含通道交换和空间交换
主要步骤都是根据步距生成交换掩膜
根据掩膜进行保留和交换空间上的或通道上的特征。
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

(e)双流对齐融合
在这里插入图片描述
在这里插入图片描述

图3 ChangerEx模型。(a) ChangerEx第二阶段采用空间交换,后两阶段采用通道交换。
FDAF用于融合特征。(b)空间交换图。©通道交换示意图。
在这里插入图片描述
在这里插入图片描述

总结:这篇从特征交互的角度出发,是与其他变化检测网络的不同也是亮点。
主要是Aggregation-distribution、特征交换、和双流对齐三个核心模块。

猜你喜欢

转载自blog.csdn.net/Aaaha_jasper/article/details/127414214