（一）论文阅读 | 目标检测之CornerNet

---

简介

图1：论文原文

论文是发表在 ${\rm ECCV2018}$上的一篇基于 ${\rm Anchor}$- ${\rm Free}$的目标检测论文。 ${\rm CornetNet}$——顾名思义，其检测流程是先得到角点，再通过角点生成边界框，进而完成目标检测过程。
论文原文 源码

---

0. Abstract

论文提出一种新的目标检测算法—— ${\rm CornerNet}$，将检测边界框转换为检测一对关键点（左上角和右下角两个关键点），进而避免了预先设计一系列 ${\rm Anchor}$的操作。实验结果为该方法在 ${\rm MS\ COCO}$数据集上的 ${\rm AP}$为 ${\rm 42.1\%}$，一阶段算法上表现 ${\rm SOTA}$。
本文贡献：（一）提出一种新的 ${\rm Anchor}$- ${\rm Free}$目标检测方法；（二）提出 ${\rm Corner}$池化帮助网络更好地定位角点。

---

1. Introduction

${\rm Anchors}$广泛应用于一阶段目标检测算法中，通常做法是首先在一幅图像上产生大量的 ${\rm Anchor}$框，然后根据每个 ${\rm Box}$的得分和回归修正坐标得到最后的检测框。但 ${\rm Anchors}$的使用存在两个问题：第一，产生的大量 ${\rm Anchor\ Boxes}$中大部分是属于负类样本(不包含目标的背景)，正负样本不均衡影响网络的训练；第二，使用 ${\rm Anchor\ Boxes}$会引入大量超参数，降低了网络的可扩展性。
论文提出一种新的 ${\rm Anchor}$- ${\rm Free}$目标检测算法，通过检测边界框的左上角和右下角角点来定位目标，角点通过 ${\rm CNN}$预测的热图得到。本文方法受到一种基于嵌入向量的人体姿态估计方法的启发。下图展示了 ${\rm CornerNet}$的整体结构：

图2：CornerNet

${\rm CornerNet}$的另一个创新是 ${\rm Corner}$池化。边界框的角点通常位于目标的外面，不能仅通过局部信息判断某个位置是否为角点。要确定某个位置是否是左上角点，必须从左往右看判断是不是目标的上边界、从上往下看判断是不是目标的左边界。右下角点同理。 ${\rm Corner}$池化的思想是： ${\rm Corner}$池化层的输入是两个特征图，一个特征图用于判断水平方向（上下边界）、一个特征图用于判断竖直方向（左右边界），然后综合两个特征图的判断结果。下图展示了 ${\rm Corner}$池化的一个例子：

图3：Corner Pooling

本文提出了检测角点比检测边界框更好的两个假设：第一，边界框需要四个属性才能定位，而角点仅需两个；第二，本文方法需要产生 $O(wh)$个 ${\rm Corners}$，而基于 ${\rm Anchor}$的方法需要产生 $O(w^2h^2)$个 ${\rm Anchor\ Boxes}$。

---

2. Related Works

两阶段目标检测算法 ${\rm R}$- ${\rm CNN}$、 ${\rm SPP}$、 ${\rm Fast}$- ${\rm RCNN}$、 ${\rm Faster}$- ${\rm RCNN}$、 ${\rm R}$- ${\rm FCN}$、 ${\rm DeNet}$等和一阶段目标检测算法 ${\rm YOLO}$、 ${\rm SSD}$、 ${\rm RetinaNet}$、 ${\rm RefineDet}$等。
论文受到 Newell et al.多人姿态估计背景下关联嵌入的工作启发。在他们的方法中每个人体关节都有一个嵌入向量，关节通过嵌入向量之间的距离分组。
注： ${\rm Embedding\ Vector}$来源于 ${\rm NLP}$领域，相关细节可参考这里。

---

3. CornerNet

本部分介绍 ${\rm CornerNet}$的实现细节，主要包括：
（一）如何检测角点；
（二）如何给角点分组，每组角点分别包含左上角角点和右下角角点；
（三）如何判断该组角点是否是一个可行的边界框；
（四） ${\rm CornerNet}$所用的 ${\rm Backbone}$。
每个问题对应于一个小节。

3.1 Detecting Corners

${\rm CornerNet}$预测两组热图（一幅图中以不同颜色表示该位置是 ${\rm Corner}$的概率，如图中以红色表示该位置是 ${\rm Corner}$的概率高、而以蓝色表示该位置是 ${\rm Corner}$的概率低），一组用于预测左上角角点、另一组用于预测右下角角点。热图的大小是 $C×H×W$， $C$表示热图的通道即类别数、 $H×W$表示热图的二维大小。
对于某个角点而言，只有一个表示正类，其他的均为负类。在训练过程中，对每个负类角点的惩罚也是不同的，减少在真实角点某个半径范围内的负类角点的惩罚，这主要是因为一对错误的角点在足够靠近真实位置时也能够产生一个同标注框有很大 ${\rm IoU}$的框，如图 ${\rm 4}$。即在以真实角点为中心的某个半径的圆内，对负类角点的惩罚随着与圆心距离的增大而减小。

图4：Detecing Corners

用 $p_{cij}$表示热图中位置 $(i,j)$对类别 $c$的预测概率； $y_{cij}$表示热图中的真实值，即 $y_{cij}=1$表示位置 $(i,j)$对应的类别为 $c$，其余位置的 $y_{cij}=0$。结合Focal Loss，得到 ${\rm CornerNet}$的第一部分损失函数 $L_{det}$。
$L_{det} =\frac{-1}{N}\sum\limits_{c=1}^{C}\sum\limits_{i=1}^{H}\sum\limits_{j=1}^{W}\left\{ \begin{aligned} &(1-p_{cif})^αlog(p_{cij}) &ify_{cij}=1\\ &(1-y_{cif})^β(p_{cif})^αlog(1-p_{cij})&otherwise \end{aligned} \right.\tag{3.1}$

公式中， $N$是一幅图像中目标的数量、 $α$和 $β$为超参数（对应于 ${\rm Focal\ Loss}$中损失函数的设计）。 $if y_{cij}=1$部分表示对真实标注位置处的损失； $otherwise$表示其他地方的损失，其中在预测时 $y_{cij}$服从高斯分布，即
$y_c =\left\{ \begin{aligned} &e^{-\frac{x^2+y^2}{2σ^2}}&x^2+y^2≤r^2\\ &0&otherwise \end{aligned} \right.\tag{3.2}$
$(1-y_{cif})^β$对应于在某半径 $r$范围内，离圆心越远惩罚越小。

另一方面，在使用下采样的情况下，得到的图像比原图小。假设下采样倍数是 $n$，原图上 $(x,y)$的位置对应于下采样后的 $(\lfloor\frac{x}{n}\rfloor,\lfloor\frac{y}{n}\rfloor)$。当从下采样后的图像重新映射回原图时会有精度的损失，这在小目标检测时会产生较大的误差。为了解决这个问题，增加一个位置偏移的预测 $o_k$。
$o_k=(\frac{x_k}n{}-\lfloor\frac{x_k}{n}\rfloor,\frac{y_k}n{}-\lfloor\frac{y_k}{n}\rfloor)$

其中 $o_k$表示真实位置的偏差， $(x_k,y_k)$表示第 $k$个 ${\rm Corner}$的 $(x,y)$。

记预测位置的偏差为 $\widehat{o}_k$，第二部分损失函数参考 ${\rm SmoothL1}$损失函数，得到 $L_{off}$。

$L_{det} =\frac{1}{N}\sum\limits_{k=1}^{N}SmoothL1Loss(o_k,\widehat{o}_k).\tag{3.3}$

其中 $N$是一幅图像中目标的数量， ${\rm SmoothL1Loss}$的形式为
$SmoothL1Loss(x) =\left\{ \begin{aligned} &0.5x^2&if|x|＜1\\ &|x|-0.5&otherwise \end{aligned} \right.\tag{3.4}$

3.2 Grouping Corners

匹配一对左上角角点和右下角角点的方法是使用 ${\rm Embedding Vector}$(嵌入向量)。作者的思路是为每个角点预测一个嵌入向量，属于同一个边界框的嵌入向量的距离应该足够小。
现在定义 $e_{t_k}$为类别 $k$的左上角角点的嵌入向量， $e_{b_k}$为类别 $k$的右下角角点的嵌入向量。参考文章，定义第三部分损失函数和第四部分损失函数 $L_{pull}$和 $L_{push}$。
$L_{pull} =\frac{1}{N}\sum\limits_{k=1}^{N}[(e_{t_k}-e_k)^2+(e_{b_k}-e_k)^2].\tag{3.5}$

$L_{push} =\frac{1}{N(N-1)}\sum\limits_{k=1}^{N}\sum\limits_{j=1,j≠k}^{N}max(0,∆-|e_k-e_j|).\tag{3.6}$

其中 $N$表示一幅图像中目标的数量， $e_k=\frac{e_{t_k}+e_{b_k}}{2}$，∆为超参数。 $L_{pull}$是针对同一目标的，由其名字可知，对于同一边界框的 $e_{t_k}$和 $e_{b_k}$，该损失函数越小对应于两个嵌入向量的距离更近； $L_{pull}$是针对不同目标的，由其名字可知，如果两个嵌入向量 $e_{k}$和 $e_{j}$的L1范数大于∆，则认为这两个嵌入向量来自不同目标（对应于 $L_{pull}=0$不参与优化过程）。

3.3 Corner Pooling

为了确定当前位置是否属于左上角角点或右下角角点，本文提出了 ${\rm Corner\ Pooling}$。前面第1部分大致说了下 ${\rm Corner\ Pooling}$的流程，现在进行具体描述。
假设现在我们需要确定某个位置 $(i,j)$是否是一个左上角角点。设 $f_t$和 $f_l$为 ${\rm Corner}$池化层输入的两个特征图， $f_{l_{ij}}$和 $f_{l_{ij}}$分别表示特征图 $f_t$和 $f_l$上位置 $(i,j)$处的向量。对于大小为 $H×W$的特征图，在特征图 $f_t$上从在位置 $(i,j)$和 $(i,H)$间进行最大池化，得到位置 $(i,j)$处对应的向量 $t_{ij}$（从左向右进行）；从在位置 $(i,j)$和 $(W,j)$间进行最大池化，得到位置 $(i,j)$处对应的向量 $l_{ij}$（从上往下进行）。 $t_{ij}$和 $l_{ij}$的表达式为：
$t_{ij} =\left\{ \begin{aligned} &max(f_{t_{ij}},t_{(i+1)j})&if\ i＜H\\ &f_{t_{Hj}}&otherwise \end{aligned} \right.\tag{3.7}$

$l_{ij} =\left\{ \begin{aligned} &max(f_{l_{ij}},l_{i(j+1)})&if\ j＜W\\ &f_{l_{iW}}&otherwise \end{aligned} \right.\tag{3.8}$

观察上式是一个递归的形式，具体计算细节见下图。

如图：

图5：Corner Pooling

在第一列图中，沿着箭头的方向计算就得到第二列图。如第一行第一列的图中，从右往左开始计算，最后一列的值分别是 ${\rm 2}$和 ${\rm 6}$， $max(0,2)=2、max(1,6)=6$，所以倒数第二列结果为 ${\rm 2}$和 ${\rm 6}$。前面列的计算类似，类似于一个最大池化过程。经过第一列图的计算得到第二列图，将两幅图的计算结果相加得到最后的结果。

${\rm Corner}$池化用于预测热图、 ${\rm Embedding\ Vector}$和偏移（具体参考源码）。

图6：预测模块
网络的预测模块如图 ${\rm 6}$所示，以左上角为例，通过一系列处理得到热图、 ${\rm Embedding}$和偏移。具体实现细节参考源码。

3.4 Hourglass Network

图7：Hourglass Network
Hourglass Network最早应用于人体姿态估计，具体网络结构细节可参考论文原文。本文的结构包含两个 ${\rm Hourglass}$模块，每个 ${\rm Hourglass}$模块对应于图 ${\rm 7}$中的虚线框内的部分。本文的结构细节参考源码。

---

4. Experiments

损失函数定义为
$L=L_{det}+αL_{pull}+βL_{push}+γL_{off}.$

其中 $α$、 $β$和 $γ$分别设置为 ${\rm 0.1}$、 ${\rm 0.1}$和 ${\rm 1}$。

图8：实验结果对比

---

5. Conclusion

本文提出了一种基于 ${\rm Anchor}$- ${\rm Free}$的目标检测算法—— ${\rm CornerNet}$，是一种一阶段检测算法。不同于 ${\rm YOLOv1}$和 ${\rm DenseBox}$等基于 ${\rm Anchor}$- ${\rm Free}$的目标检测算法， ${\rm CornerNet}$采用了一种通过检测角点的全新思路，阅读改论文有助于理解后续基于 ${\rm Anchor}$- ${\rm Free}$的目标检测算法，为以后阅读 ${\rm CenterNet}$、 ${\rm ExtremeNet}$、 ${\rm FSAF}$等打下基础。

由于没有阅读源码，本文只总结了 ${\rm CornerNet}$的大体结构和信息，详细内容请阅读论文原文。

---

参考

1. https://zhuanlan.zhihu.com/p/66406815.
2. Law H, Deng J. Cornernet: Detecting objects as paired keypoints[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 734-750.
3. Newell A, Yang K, Deng J. Stacked hourglass networks for human pose estimation[C]//European conference on computer vision. Springer, Cham, 2016: 483-499.

---

完

---