【多模态】22、UniDetector | 检测开放世界中的一切！（CVPR2023）

在这里插入图片描述

出处：CVPR2023

贡献：

提出了一个任意场景任意类别的目标检测器 UniDetector，使用来自不同源和多样标注空间的数据来训练，将 image 和 text space 进行对齐，也是目前首个实现通用目标检测的结构，即使用了 500 类别训练，实现了 7000 个类别的识别
能够很方便的泛化到开放世界和新类别上，提出了解耦 proposal 生成和 RoI 分类的过程，能更好的实现与类别无关的特性
提出了解耦的训练方式和概率矫正，能够平衡预测类别的分布，且能促进其扩展到新类别上

效果：

一、背景

Universal object detection（通用目标检测器）的目标就是检测任意场景中的所有目标，需要有如下两个特点：

但众所周知，只使用视觉信息无法实现这样的效果

本文提出了 UniDetector，一个通用的目标检测框架，来克服上述两个问题

首先，从语言空间来入手，作者发现多阶段训练的方式能够促进特征共享，且避免特征冲突
接着，为了探索 region proposal 阶段泛化到新类上的能力，作者将 proposal generation 阶段和 RoI classification 阶段进行了解耦
然后，基于解耦的方式，作者进一步提出了 class-agnostic localization network（CLN）来生成更有泛化性的 region proposals
最后，作者还提出了 probability calibration 来消除预测结果对新类别和基础类别的偏见

在这里插入图片描述

UniDetector 框架结构如图 2 所示：

第一步：多尺度 image-text aligned pre-training：传统全监督的学习方式是基于人工标注的，这就会限制通用性。而要扩展泛化性，就需要借用语言特征的泛化性，所以，作者引入了语言编码来辅助检测。和之前的很多工作一样，作者使用预训练的 image-text model 来实现。而且，作者是使用了 RegionCLIP 的预训练参数来用于实验。
第二步：多样性 label space training：传统的目标检测的标签是收缩在一个固定的范围内的，本文作者从不同的数据源中收集了多样的标注空间来训练检测器，标注的多样性和图像的多样性决定了检测器的通用性。注意，这里作者也使用的是解耦的训练方法，来分别训练 RPN 和 RoI（见2.2）
第三步：Open-world inference：完成训练后，就可以在开放时间直接推理了，且不需要 fine-tuning。因为新类别没有出现在训练中，检测器容易产生低置信的预测，所以作者提出了 probability calibration 来实现在推理过程中新类和基础类的平衡

使用多样的标注空间的标注有助于提升模型的信息多样性

在这里插入图片描述

作者在图 3 中展示了 3 种可能的模型结构：

第一种：使用隔离的标注空间来训练，如图 3a 所示，作者在每个数据集中训练模型，在推理时，将每个独立的推理结果结合起来来得到最终的检测框
第二种：将所有标签放到同一个标签空间中训练，如图 3b 所示，由于所有的图像都被当做来源于同一个标签空间，故就可以使用 Mosaic 或 Mixup 等数据增强的方法来提升信息丰富程度
第三种：所有数据源都共享特征抽取器，然后又有各自的分类层，在推理时，可以直接使用 test label 的 class embedding 来避免标签冲突

数据采样和 loss 函数：

当数据量变大时，不可避免的问题就是数据长尾分布，class-aware sampler (CAS) [38]、 repeat factor sampler (RFS) [17] 在 closed world 中都是较为好用的方法，但是在 open world 中不太有用，主要原因就是有新类。而且，在有了 language embedding 辅助的情况下，长尾问题可以忽略不计，使用随机采样即可
loss 函数：sigmoid-based loss 更适合，因为基础类别的分类和新类别的分类在 sigmoid 函数的作用下不会互相影响。且为了避免类别增加导致 sigmoid-based classification loss 产生极值，作者会随机采样特定数量的类别作为负的

解耦 proposal generation 和 RoI classification：

双阶段的目标检测器包括：

visual backbone
RPN：RPN 是与类别无关的，所以可以扩展到新类上，本文中使用 Image-Net 预训练参数来初始化，并且是以 class-agnostic 的方式来训练的，训练完成后，其能够生成一系列的 region proposals
RoI classification：与类别有关的，所以不能很好的作用于新类。所以在本文 RPN 生成 RoI 后，使用 Fast RCNN 的方式来训练该分类器，这里使用预训练的 image-text 参数来初始化。

由于 RPN 和 RoI 分类器的不同性质，导致它们不能联合训练，因为灵敏的分类能力会影响 RPN 对新类别的提取，所以，作者将这两个阶段进行了解耦，避免其互相影响。

在这里插入图片描述

Class-agnostic 定位网络：与类别无关的定位网络 CLN

为了处理前面生成的 proposals，作者提出了一个 classagnostic localization network (CLN)，如图 4 所示，CLN 包含 RPN 和 RoI head，来为通用目标检测器生成 proposals

对于第 i 个 proposal，从 RPN 得到的定位置信度为 $s_i^{r_1}$ ，从 RoI 得到的定位置信度为 $s_i^{r_2}$ ，分类得分为 $s_i^c$

则 CLN 的最终得分为：

在这里插入图片描述

由于基础类别会在训练时候出现，所以难以避免训练得到的 detector 会更偏向于基础类别，基础类别的检测结果和得分都比新类别更高，会主导推理过程

所以，作者提出了一种后处理的方法：probability calibration（校准）

校准的目标是降低基础类别的置信得分，提高新类别的置信得分，用于平衡最终的预测结果
校准方式如下：
主要思想是使用先验概率 $\pi_j$ 来花粉类别 $j$ 的初始概率
$\pi_j$ 记录了网络对类别 $j$ 的倾向程度，大的值表示模型更倾向于该类，在校准之后，模型原本倾向的类别的概率就会减小
$\gamma$ 是预定义的超参数
$\pi_j$ 如何获得：可以首先在 test 数据集上进行推理，然后使用结果中出现的类别来获得 $\pi_j$ ，如果测试图像很少，难以获得准确了概率，则可以使用训练图像来计算 $\pi_j$
$p_{ij}$ ：反映了第 i 个 region proposal 的 class-specific prediction。会将 $p_{ij}$ 乘到 objectness score $\eta_i$ 上来作为最终的检测得分
最终的检测得分为