（二）论文阅读 | 目标检测之CenterNet-Triplets

---

简介

图1：论文原文

论文是发表在 ${\rm ICCV\ 2019}$上的一篇基于 ${\rm Anchor}$- ${\rm Free}$的目标检测论文。 ${\rm CenterNet}$——顾名思义，论文检测流程是先得到目标的中心点，再由中心点得到边界框，进而完成目标检测过程。
论文原文 源码

---

0. Abstact

论文提出一种基于关键点的目标检测算法—— ${\rm CenterNet}$，将检测边界框转化为检测一个关键点，即目标的中心点。同CornerNet一样，这避免了一系列 ${\rm Anchors}$的操作。实验结果为该方法在 ${\rm MS\ COCO}$数据集上的 ${\rm AP}$为 ${\rm 47.0\%}$，一阶段算法上表现 ${\rm SOTA}$。
论文贡献：（一）提出一种新的 ${\rm Anchor}$- ${\rm Free}$目标检测方法（主要是对 ${\rm CornerNet}$的改进）；（二）提出两种新的池化方法用于改善关键点的生成。

---

1. Introduction

当前基于 ${\rm Anchor}$的目标检测算法在图像上生成大量 ${\rm Anchors}$，然后通过标注信息回归 ${\rm Anchors}$以定位目标的最终位置。这种方法通常需要大量 ${\rm Anchors}$以确保与标注框有足够大的 ${\rm IoU}$，而且 ${\rm Anchors}$的大小尺寸需要人为设定。
${\rm CornerNet}$是一种基于 ${\rm Anchor}$- ${\rm Free}$的方法，它有效避免了上述问题且在一阶段算法上达到了 ${\rm SOTA}$。然而， ${\rm CornerNet}$的性能仍受到其不能有效获取全局信息的限制。 ${\rm CornerNet}$中每个目标边界框由一对角点构建，它不能有效地判断哪一对角点属于目标，从而对边界框的生成非常敏感。图2中展示了 ${\rm CornerNet}$的一些错误检测结果，大多数检测结果都能够通过如宽高比等信息过滤掉。

图2：CornerNet检测结果

为了处理这个问题，我们对 ${\rm CornerNet}$进行改进，使其能够自行识别边界框的正确性。论文提出的 ${\rm CenterNet}$用于探讨建议框的中心区域。作者认为如果预测的边界框同标注框有很大的 ${\rm IoU}$值，那么关键点在边界框的中心区域被预测为同一类别的概率也很高（以图 ${\rm 2}$说明），反之亦然。即相比于 ${\rm CornerNet}$， ${\rm CenterNet}$一共预测三个关键点：两个角点和一个中心关键点。

如图2中的第二行所示。每个边界框中心的淡红色区域为边界框的中心区域，三个框的预测结果均为“马”。现在预测“马”这个类别的中心关键点，结果显示中心点只位于一个框的中心区域。则最终只保留该中心区域所在的边界框，舍弃其他预测结果。

同时，为了改善中心点和角点的检测，相应地提出了两种策略： ${\rm Center\ Pooling}$将有助于中心关键点获取目标的更多信息、感知边界框的中心区域。论文通过获取特征图的中心关键点在水平方向和垂直方向的最大和响应来预测中心关键点； ${\rm Cascade\ Corner\ Pooling}$使 ${\rm Corner}$池化具有感知内部信息的能力。论文通过获取特征图的目标在边界和内部的最大和响应来预测角点。（两种池化方式的细节参考第 ${\rm 3}$部分）
实验在 ${\rm MS\ COCO}$数据集上的 ${\rm AP}$为 ${\rm 47.0\%}$，达到了 ${\rm SOTA}$。使用 ${\rm 52}$层的 ${\rm Gourglass}$作为基础网络，时间为 ${\rm 270ms}$；使用 ${\rm 104}$层的 ${\rm Gourglass}$作为基础网络，时间为 ${\rm 340ms}$。

---

2. Related Works

两阶段目标检测算法将目标检测分为两个阶段：提取 ${\rm RoIs}$和分类、回归 ${\rm RoIs}$，包括 ${\rm R}$- ${\rm CNN}$、 ${\rm SPP}$- ${\rm Net}$、 ${\rm Fast}$ ${\rm R}$- ${\rm CNN}$、 ${\rm Faster}$ ${\rm R}$- ${\rm CNN}$、 ${\rm R}$- ${\rm FCN}$、 ${\rm Cascade}$ ${\rm R}$- ${\rm CNN}$等；一阶段目标检测算法去掉提取 ${\rm RoIs}$的过程而直接分类和回归建议框，包括 ${\rm YOLO}$、 ${\rm SSD}$、 ${\rm RON}$、 ${\rm RefineDet}$、 ${\rm CornerNet}$等。

---

3. Our Approach

3.1 Baseline and Motivation

本论文是基于对 ${\rm CornerNet}$的改进（ ${\rm CornerNet}$的阅读见这里）。图3列出了 ${\rm CornerNet}$在 ${\rm MS\ COCO}$数据集上实验结果。

图3：CornerNet实验结果

表中 ${\rm FD}$表示 ${\rm False\ Discovery}$， ${\rm FD=1 - AP}$。其中 $\rm FD_5$、 $\rm FD_{25}$、 $\rm FD_{50}$中的数字表示设置的 ${\rm IoU}$阈值（0.05、0.25、0.5）； $\rm FD_S$、 $\rm FD_M$、 $\rm FD_L$中的 ${\rm S}$、 ${\rm M}$、 ${\rm L}$表示目标尺寸（ ${\rm Small}$、 ${\rm Medium}$、 ${\rm Large}$）。

由 ${\rm FD_S}$的数值可知， ${\rm CornerNet}$对小目标的检测结果较差。文中指出这可能是因为 ${\rm CornerNet}$不能评估边界框内部的区域（由于 ${\rm CornerNet}$只是通过角点生成边界框而没有作进一步处理）。论文提出的一种可能改进方法是将 ${\rm CornerNet}$设计成为两阶段算法，但是考虑到这会加大计算量，文中并没有采用。
论文提出了 ${\rm CenterNet}$用于探索边界框内部的信息。相比于 ${\rm CornerNet}$， ${\rm CenterNet}$一共检测三个关键点。此外，论文还进一步使用 ${\rm Center\ Pooling}$和 ${\rm Cascade\ Pooling}$将边界框内部的信息引入到关键点的检测过程中。

3.2 Object Detection as Keypoint Triplets

图4：CenterNet网络结构

网络结构如图4所示，输入经过 ${\rm BackBone}$后通过池化得到两个结果分别产生角点和中心关键点，用一个关键点和一对角点表示一个目标。确切地说，在 ${\rm CornerNet}$的基础上嵌入一个热图用于检测中心关键点及其偏移。然后产生 ${\rm top}$- $k$个边界框（保留分数最高的 $k$个边界框， ${\rm CenterNet}$中分数的计算方法为取两个角点分数的平均值， ${\rm CenterNet}$中分数的计算方法为取三个关键点分数的平均值）。为了有效过滤掉不正确的边界框，作如下处理：（1）根据分数得到 ${\rm top}$- $k$个中心关键点；（2）利用偏移信息将中心关键点映射回原图；（3）为每个边界框定义一个中心区域，然后检查中心关键点是否位于中心区域；（4）如果中心关键点位于中心区域，则保留该边界框，否则丢弃该边界框。
中心区域的尺寸对检测结果影响很大。文中举例如较小的中心区域对于小的边界框有很低的召回率，较大的中心区域对大的边界框有很低的精度。因此论文提出了一种自适应中心区域的方法用以适应边界框的大小。该方法致力于对小的边界框生成较大的中心区域，对大的边界框生成较小的中心区域。边界框用 $i$表示。 $\rm tl_x$和 $\rm tl_y$表示 $i$的左上角角点的坐标， $\rm br_x$和 $\rm br_y$表示 $i$的右下角角点的坐标。中心区域用 $j$表示。 $\rm ctl_x$和 $\rm ctl_y$表示 $j$的左上角角点的坐标， $\rm cbr_x$和 $\rm cbr_y$表示 $j$的右下角角点的坐标。上面各变量满足如下关系：
$\left\{ \begin{aligned} &{\rm ctl_x}=\frac{(n+1){\rm tl_x}+(n-1){\rm br_x}}{2n}\\ &{\rm ctl_y}=\frac{(n+1){\rm tl_y}+(n-1){\rm br_y}}{2n}\\ &{\rm cbr_x}=\frac{(n-1){\rm tl_x}+(n+1){\rm br_x}}{2n}\\ &{\rm cbr_y}=\frac{(n-1){\rm tl_y}+(n+1){\rm br_y}}{2n}\\ \end{aligned} \right.\tag{3.1}$

其中 $n$是一个奇数用于表示中心区域的大小。论文中 $n=3$和 $n=5$分别对应于边界框的大小小于和大于 ${\rm 150}$个情况。

图5：生成中心区域

图中分别列举了 $n=3$和 $n=5$生成中心区域的情况，外面的实线框表示边界框，中间的灰色区域表示通过公式(3.1)生成的中心区域。

3.3 Enriching Center and Corner Information Center Pooling

${\rm Center\ Pooling}$：论文提出的 ${\rm Center}$池化用于寻找物体的几何中心。如图6中的子图1，中心池化的详细过程如下： ${\rm Backbone}$输出一个特征图，为了确定特征图上的像素点是否是中心关键点，我们需要找到水平方向和垂直方向的最大值，然后将这些值相加。这样，中心池化有助于中心关键点的检测。

图6：池化

${\rm Cascade\ Corner\ Pooling}$：边界框的角点通常位于物体的外部， ${\rm CornerNet}$使用 ${\rm Corner}$池化利用沿边界方向的最大值来确定角点。但是，这会使得角点对边界产生很大的依赖性。论文提出级联角点池化使得角点能够从目标的中心区域提取信息。如图 ${\rm 6}$中的子图 ${\rm 3}$，级联角点池化的详细过程如下：首先沿着边界框分别找到边界上的最大值（上、下、左、右四个边界），然后在最大值的位置处在边界框的内部找到最大值；最后，将这两个最大值相加。这样，级联角点池化得到的角点同时具有边界信息和内部信息。

图7：池化的实现

${\rm Center\ Pooling}$和 ${\rm Cascade\ Corner\ Pooling}$可由不同方向上的 ${\rm Corner\ Pooling}$实现。如图7所示，如（a）中所示，中心池化可由向左、向右、向上和向下的池化共同作用得到；如图（b）中所示，上级联角点池化可先由一个水平向左的池化和向上的池化共同作用得到。

3.4 Training and Inference

损失函数定义为
$\rm L=L_{det}^{co}+L_{det}^{ce}+αL_{pull}^{co} +βL_{push}^{co}+γ(L_{off}^{co}+L_{off}^{ce}).\tag{3.2}$

$\rm L_{det}^{co}$和 $\rm L_{det}^{ce}$为 ${\rm Focal\ Loss}$，分别用于检测角点和中心关键点； $\rm L_{pull}^{co}$为 ${\rm “pull”}$损失，用于最小化相同目标间嵌入向量的距离； $\rm L_{push}^{co}$为 ${\rm “push”}$损失，用于最大化不同目标间嵌入向量的距离； $\rm L_{off}^{co}$和 $\rm L_{off}^{ce}$为 $l_1$损失，用于预测角点和中心关键点的偏移； $α$、 $β$、 $γ$为超参数。损失函数的具体说明可见CornerNet中损失函数的定义。

---

4. Experiments

图8：实验对比结果

原文还对中心区域选取、中心池化、级联角点池化等做了消融实验。

---

5. Conclusions

论文提出了对 ${\rm CornerNet}$的改进—— ${\rm CenterNet}$，检测一对角点和一个中心关键点。主要解决了一阶段目标检测算法的一类问题：没有考虑边界框的内部信息。
论文指出：论文贡献之一是使一阶段算法具备两阶段算法的能力——额外添加一个判别器。作者认为该思想同样可以应用于其他一阶段算法。

由于没有阅读源码，本文只总结了 ${\rm CornerNet}$的大体结构和信息，详细内容请阅读论文原文。

---

参考

1. Law H, Deng J. Cornernet: Detecting objects as paired keypoints[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 734-750.
2. Duan K, Bai S, Xie L, et al. Centernet: Keypoint triplets for object detection[C]//Proceedings of the IEEE International Conference on Computer Vision. 2019: 6569-6578.

---

完

---