Self-paced Multi-grained Cross-modal Interaction Modeling for Referring Expression Comprehension论文阅读

Self-paced Multi-grained Cross-modal Interaction Modeling for Referring Expression Comprehension论文阅读笔记

一、Abstract
二、引言
三、相关工作
四、方法
五、实验
六、结论

写在前面

又是一周快过去了，哎，时间过得很快呀。这是一篇 REC 的文章，由于没放出代码，不好评价这个效果，尤其一些实验数据，感觉有点不可思议了。

论文地址：Self-paced Multi-grained Cross-modal Interaction Modeling for Referring Expression Comprehension
代码地址：原文暂未提供
预计提交于：某个会议
Ps：2023 年每周一篇博文阅读笔记，主页更多干货，欢迎关注呀，期待 5 千粉丝有你的参与呦~

一、Abstract

指代表达式理解 referring expression comprehension (REC) 通常需要大量的多粒度视觉-语言模态的信息来实现精确推理，此外一些难样本有着更多的信息。于是本文提出自定进度的多粒度跨模态交互建模 Self-paced Multi-grained Cross-modal Interaction Modeling。具体来说，设计一种基于 Transformer 的多粒度跨模态机制，提出一种自定进度的样本信息学习方法来增强网络对信息丰富的样本的学习能力。实验效果很好。

二、引言

首先指出 REC 的目的，意义，应用。接下来指出 REC 网络需要的定位能力，大白话修饰语句就不解读了。视觉编码器，例如 ResNet，在更深层时捕捉语义信息，而在浅层时捕捉详细信息。如下图中的注意力图所示：

在这里插入图片描述
与此同时，基于 Transformer 的语言编码器，例如 BERT 等，能够在浅层时捕捉短语级别的信息，而在高层时捕捉句子级别的信息。因此需要从这些模态中聚合多粒度信息，并执行跨模态交互。于是设计基于 Transformer 的多粒度跨模态注意力，逐渐且自适应地实现多粒度视觉和语言模态的交互。
对多粒度信息样本的充分学习也能促进多粒度跨模态交互。然而很难去直观衡量多粒度信息以及自适应样本学习的策略。于是本文利用定位的难易程度来反应多粒度信息的数量以及每个样本学习的必要性。具体来说，设计了一种自定的样本信息学习，能够让网络衡量训练样本的难易得分，从而自适应地驱动网络获得包含多粒度信息的样本知识。
具体来说，设计了一种基于 Transformer 的多粒度跨模态注意力，通过提出的多模态的交互交换注意力模块 cross-modal alternate attention module (CA2M) 实现分组和融合。进一步在每次训练迭代过程中，基于当前的网络为每个样本输出难易程度得分，于是网络能够自适应的从这些样本中学习到多粒度信息。大量实验表明方法很有效，且推理速度很快。如下图所示：

在这里插入图片描述
贡献总结如下：

提出一种自定速度的多粒度跨模态交互建模框架 Self-paced Multi-grained Cross-modal Interaction Modeling framework，在网络结果和学习机制上的创新提升了定位性能；
构建了一种多粒度跨模态注意力机制，设计了一种自定进度的样本信息学习策略，能够自适应地驱动网络学习多粒度样本信息；
实验表明方法效果很好。

三、相关工作

A、指代表达式理解

之前传统的 REC 方法包含两个阶段：产生候选 Box，选择最匹配的 Box。在第一阶段，通过预训练的目标检测器，例如 Faster-RCNN 生成大量的候选 boxes，第二阶段挑选出最佳候选的 box 作为目标 box。然而受限于 Box、匹配的正确度、表达式，此类方法精度和速度达不到要求。最近一些方法通过设计视觉-语言融合模块来直接预测目标 box，但是忽略了多粒度视觉语言编码器中信息的利用。于是本文提出一组多粒度跨模态注意力来提炼视觉语言编码器中的多粒度信息。

B、Transformer

基于 Transformer 的方法在自然语言处理任务中性能非常好，之后用于视觉任务中，例如图像分类，目标检测，全景分割等，还有一些基于 Transformer 的预训练模型用于视觉-语言任务。Transformer 中的注意力机制能够捕捉上下文的长范围依赖以及跨模态 tokens 间的关联。相比于这些 Transformer，本文提出的 CA²M 能够充分地进行多粒度跨模态交互且实现更准确定位的同时，推理速度更快。

C、自定进度学习

自定进度学习采用当前的训练网络来衡量样本的难易度进行目标学习。自定进度学习可以在训练过程中动态实现样本的学习。正因为 REC 数据集中样本的分布不均，本文旨在设计自定进度样本信息学习来自适应地实现网络的渐进学习。

四、方法

在这里插入图片描述

A、动机和框架总览

REC 通常需要大量的多粒度信息来实现定位。由于视觉和语言编码器在不同的层次上处理多粒度信息，且复杂样本通常包含充分的细粒度信息，于是本文提出自定进度的跨模态交互建模框架，通过多粒度跨模态注意力和自定进度的样本信息学习来提升推理能力。(这个故事讲的有点牵强，估计还是先有结果再有故事吧。)
给定一幅图像和一个指代表达式，本文旨在直接回归出目标 box 的坐标。基于 ResNet 的视觉编码器和基于 BERT 的语言编码器首先从不同的层中提取多粒度信息，然后在多粒度跨模态注意力中，通过设计的跨模态交替注意力模块 CA²M，获得的视觉语言特征用于实现跨模态交互的分组和融合，而 [CLS] token 用于输出。预测头由三层感知机组成，将 [CLS] token 转化为 box 的坐标。在每次的训练迭代过程中，自定进度的样本信息学习计算每个样本的难度得分，指导网络增进对具有充分多粒度信息的样本的学习。

B、多粒度跨模态注意力

在这里插入图片描述

1）跨模态交替注意力模块 Cross-modal Alternate Attention Module (CA²M)

实际上就是两个 Cross-attention 模块。

CA²M 核心组成是注意力模块，其输入源于视觉和语言模态的 token 序列。开始时采用的全连接模块：
$Q=X^{q}W^{q},\quad K=X^{s}W^{k},\quad V=X^{s}W^{\nu}$ 其中 $W^{q}$ 、 $W^{k}$ 、 $W^{v}$ 分别是 query、key、value 的可学习权重， $X^{q}$ 、 $X^{s}$ 来源于不同的模态。接下来：
$\mathrm{CrossAttention}(Q,K,V)=\mathrm{Softmax}(\frac{QK^{\top}}{\sqrt{d_{\mathrm{dim}}}})V$ 其中 $d_{\text{dim}}$ 为 embeddings 的通道维度。

视觉语言特征融合过程如图 4 所示。具体来说，给定视觉特征 $F_v$ 和语言特征 $F_l$ 。CA²M 首先拿 $F_v$ 和 $F_l$ 作为 $X^q$ 和 $X^s$ ，然后有：
$\begin{aligned}F_{\nu}^{*}&=\mathrm{LN}(F_{\nu}+\mathrm{MHCA}(F_{\nu},F_{l}))\\\\F_{\nu}^{'}&=\mathrm{LN}(F_{\nu}^{*}+\mathrm{FFN}(F_{\nu}^{*}))\end{aligned}$ 其中 $\mathrm{LN}$ ， $\mathrm{MHCA}$ ， $\mathrm{FFN}$ 分别表示层归一化，多头注意力，前项传播网络。在获得 $F_v^{\prime}$ 后，CA²M 分别将 $F_l$ 和 $F_v^{\prime}$ 视为 $X^q$ 和 $X^s$ ，从而获得特征 $F_l^{\prime}$ ：
$\begin{aligned}F_l^*&=\mathrm{LN}(F_l+\mathrm{MHCA}(F_l,F_\nu^{'}))\\F_l^{'}&=\mathrm{LN}(F_l^*+\mathrm{FFN}(F_l^*))\end{aligned}$ 相比于 Transformer 编码器层，CA²M 效率更高：

在这里插入图片描述
最后，将 CA²M 作为多粒度跨模态注意力的核心组成部分，来实现下面跨模态交互的分组和融合。

2）跨模态交互分组和融合

基于 ResNet 的视觉编码器从最后三个阶段中提取出视觉特征，之后通过下采样或上采样操作拼接得到视觉特征 $F_v^0\in \mathbb{R}^{(HW)\times C_1}$ 。基于 6 层的 BERT 将每两层视为一个 Block，提取出具有相同维度 $L\times C_1$ 的三个语言特征 $\{F_{l,i}^0\}^3_{i=1}$ ，其中 $L$ 和 $C_1$ 分别表示长度和通道。在分组跨模态交互中， $F_v^0$ 和 $F_{l,i}^0$ 分别通过两层的 CA²M 进行交互。

在完成第一阶段的多粒度跨模态注意力后，得到 ${F_{v,i}^{1},F_{l,i}^{1}\}_{i=1}^{3}$ ，其维度分别为 $(HW)\times C_0$ 和 $L\times C_0$ 。在分组跨模态交互中，首先拼接 ${F_{v,i}^{1},F_{l,i}^{1}\}_{i=1}^{3}$ 得到 $F_{v}^{2}\in\mathbb{R}^{(HW)\times C_{1}}$ 和 $F_{l}^{2}\in\mathbb{R}^{L\times C_{1}}$ 。之后三层的 CA²M 用于执行第二阶段的多粒度跨模态注意力，得到 $F_{v}^{3}\in\mathbb{R}^{(HW)\times C_{1}}$ 和 $F_{l}^{3}\in\mathbb{R}^{L\times C_{1}}$ 。最后从 $F_l^3$ 中得到的 [CLS] 经过三层感知机后预测目标 Box $\hat b=(\hat x,\hat y,\hat w,\hat y)$ 。

C、自定进度样本信息学习

在训练的每次迭代过程中，采用 L1 损失和通用的 IoU 损失两个角度来衡量每个样本的难度。给定 GT $b = (x, y, w, h)$ 和预测的目标 box $\hat b=(\hat x,\hat y,\hat w,\hat h)$ ，L1 损失为：
${\mathcal L}_{L1}=|x-\hat x|+|y-\hat y|+|w-\hat w|+|h-\hat h|$ 进一步将矩形框 $b$ 和 $\hat b$ 表示为 $A$ 和 $B$ ，通用 IoU 损失为：
$\mathcal{L}_{\mathrm{g}iou}=1-\frac{|A\cap B|}{|A\cup B|}+\frac{|C-A\cup B|}{|C|}$ 其中 $C$ 表示 $A$ 和 $B$ 的最小内接矩形， $|\cdot|$ 表示区域的面积。不难发现 ${\mathcal L}_{L1}$ 和 $\mathcal{L}_{\mathrm{g}iou}$ 的最小值都是 0。而 ${\mathcal L}_{L1}$ 和 $\mathcal{L}_{\mathrm{g}iou}$ 越小，表明当前样本越容易。

在得到 ${\mathcal L}_{L1}$ 和 $\mathcal{L}_{\mathrm{g}iou}$ 后，使用 $\mathcal{D}(\cdot)$ 生成难度得分 $d_0$ 和 $d_1$ 引导网络学习样本，于是有：
$d_{0}=\mathcal{D}_{\mu_{0},\sigma_{0}}(\mathcal{L}_{L1}),\quad d_{1}=\mathcal{D}_{\mu_{1},\sigma_{1}}(\mathcal{L}_{giou})$ 具体而言，对于每个 $\mathcal L$ ，其对应的难度得分 $d$ 定义为一个指数函数：
$d=\mathcal{D}_{\mu,\sigma}(\mathcal{L})=e^{\frac{(\mathcal{L}-\mu)^{2}}{\sigma^{2}}}$ 其中 $\mu$ 表示位置， $\sigma$ 控制着函数的宽度。当 ${\mathcal L}_{L1}$ 和 $\mathcal{L}_{\mathrm{g}iou}$ 越接近 $0$ 时，样本的定位精度越高，于是设置 $\mu_0$ 和 $\mu_1$ 为 0。此外， $\sigma_0$ 和 $\sigma_1$ 是可学习的参数，其值越大时，函数越光滑。在每次训练迭代过程中，从上述的难度得分 $d_0$ 和 $d_1$ 中使用 $d_0{\mathcal L}_{L1}$ 和 $d_1\mathcal{L}_{\mathrm{g}iou}$ 用于自定进度的样本信息学习。

D、优化

总体损失如下：
$\mathcal{L}_{total}=d_{0}\mathcal{L}_{L1}+d_{1}\mathcal{L}_{giou}-\lambda(d_{0}+d_{1})$ 其中 $\lambda$ 为归一化系数， $\lambda(d_{0}+d_{1})$ 为控制 $\sigma_1$ 和 $\sigma_1$ 的常数。

五、实验

A、数据集和评估指标

数据集

RefCOCO、RefCOCO+、RefCOCOg、ReferItGame。

评估指标

$A cc @0.5$ ：当 GT 和预测 Box 的 IoU 超过 0.5 时，即为正确，最后统计平均得分。此外还包含推理速度。

B、实施细节

训练

AdamW 优化器，权重衰减 $1 e - 4$ ，ResNet-50 或 ResNet-101 预训练在 MC-COCO 上用于视觉编码器，未级联的 6 层 BERT 用于语言编码器。 $\sigma_0$ 、 $\sigma_1$ 初始化为 2.5， $\lambda$ 0.75， $H$ 、 $W$ 分别缩小为原图的 16 倍。 $C_0$ 和 $C_1$ 分别为 256，768。视觉和语言编码器的初始学习率设为 $1 e - 5$ ， $\sigma_0$ 、 $\sigma_1$ 的学习率设为 $5 e - 5$ ，剩下的模块设为 $1 e - 4$ 。模型训练 120 个 epoch，Batch_size 192，其中学习率在第 10 和第 80 个 epoch 时衰减 10%。在大尺度训练和微调中，训练 40 epoch 和 60 epoch，而在第 30 和 40 epoch 时，学习率衰减 10%。输入的图像尺寸为 $512\times512$ 。数据增强包含：随机水平翻转、随机仿射变换、随机颜色空间抖动、高斯模糊。表达式的最大长度设为 40，相应的 [CLS] 和 [SEP] 插入其中。训练采用 8 块 NVIDIA A100 GPUs（有钱）。

推理

输入图像尺寸为 $512\times512$ ，表达式的最大长度设为 40，无数据增强。模型直接输出坐标，无需后续操作。

C、与 SOTA 方法的比较

在这里插入图片描述

D、消融实验

采用 ResNet-50 和 6 层的 BERT 分别作为视觉和语言编码器，在 RefCOCOg-google 验证集上进行。

1）视觉和语言特征数量的影响

在这里插入图片描述

2）CA²M 数量的影响

在这里插入图片描述

3） $\lambda$ 和 $\sigma$ 的影响

在这里插入图片描述

4）CA²M 和 Transformer 编码器层的比较

在这里插入图片描述

E、定性结果

在这里插入图片描述

六、结论

本文提出自定进度的多粒度跨模态交互建模框架，通过聚合难样本的不同模态的多粒度信息来提升定位能力。具体来说，构建了一个基于 Transformer 的多粒度跨模态注意力，设计了一个自定进度的样本信息学习来自适应地实现模型对具有充分信息的样本的学习。实验表明有效。

写在后面

这篇文章创新点水平较中等（与顶会相比），其中的注意力模块不能算是自主创新，因为就是个 Cross-Attention 的叠加，想必在很多模型中都会用到。第二个创新点可以的，就是这个难样本的学习策略，这一点倒是还没有文章注意到。还要吐槽的就是这篇文章没有代码，那个推理速度的实验有点难信服。