目标检测: 一文读懂 CenterNet (CVPR 2019)

论文：Objects as Points
论文链接：https://arxiv.org/pdf/1904.07850.pdf
论文代码：https://github.com/xingyizhou/CenterNet

CenterNet 是 anchor-free 的目标检测经典算法，今天我们就一起来分析分析这个算法。代表性的二阶段和一阶段目标检测算法如 Faster-rcnn 和 Yolo 都是 anchor-based 算法，即先在特征图上生成 anchor box，随后调整这些anchor box 的位置和尺寸生成最后的预测值。而本文提出单阶段的 anchor-free 目标检测算法，无需事先生成 anchor。下面我们开始今天的正题！

1 为什么要提出 CenterNet ？

之前目标检测算法有如下不足：

• anchor-based 的目标检测算法难以端到端训练：一个目标会对应多个anchor box，需要使用后处理 NMS 抑制掉重复的 box，这种后处理是难以微分的， 因而大多数检测器不是端到端的训练。
• 基于滑动窗口的目标检测算法，需要计算所有可能的目标位置和尺寸，运算冗余。

CenterNet 做了如下改进：

• 每个目标使用 bbox中心点表示，目标尺寸、方位、姿态等其他属性，从位于中心位置的图像特征回归得到。

• 将图片输入到全卷积网络中生成heatmap，heatmap的峰值位置对应着物体的中心。

• 在推断时，只要做一次前向传播，无需NMS后处理。

2 CenterNet 网络框架

CenterNet 是一种单阶段目标检测算法，该算法网络框架如下所示：

• 输入端 — 输入端表示输入的图片。该网络的输入图像大小 $W$ 和 $H$ 为为512，该阶段通常包含一个图像预处理阶段，对图片进行随机翻转，随机缩放(0.6~1.3倍)，图片裁剪和颜色增强。
• 基准网络 — 基准网络用来提取图片特征。论文分别试验了ResNet-18，ResNet-101，DLA-34和 Hourglass-104。
• Head输出端 — Head用来完成目标检测结果的输出。输出端的分支有3个，分别为 heatmap、offset和size，对应的输出尺度为($W/R$, $H/R$, $C$)、($W/R$, $H/R$, $2$) 和($W/R$, $H/R$, $2$)，其中 $R$ 为 stride，论文中取4，$C$ 为目标种类。

3 CenterNet 实现细节

3.1 什么是关键点 heatmap？

对于每个标签图(ground truth)中的某一 类 $c$，其 bbox 标签为$(x_1,y_1,x_2,y_2)$，则关键点坐标为：
$$p=\left(\frac{x_1+x_2}{2},\frac{y_1+y_2}{2}\right)$$
计算得到低分辨率（经过下采样）上对应的关键点:
$$\tilde{p}=({\tilde{p}}_x,{\tilde{p}}_y)=\lfloor \frac{p}{R}\rfloor$$
$R$ 为下采样因子，论文采用下采用数为 $R=4$ 。进一步将 GT 关键点通过高斯核分散到热力图上：
$$Y_{xyc}=exp\left(\frac{-(x-{\tilde{p}}_x{)}^2+(y-{\tilde{p}}_y{)}^2}{2{\sigma }_p^2}\right)$$
式中 ${\sigma }_p$ 是目标尺度-自适应 的标准方差，热力图值的范围是0-1，即 $Y\in [0,1{]}^{\frac{W}{R}\times \frac{H}{R}\times C}$, 值为1时，代表此点为目标的中心点，也就是要预测要学习的点，如果对于同个类 $c$ （同个关键点或是目标类别)有两个高斯函数发生重叠，选择元素级最大的，得到热力图如下：

3.2 关键点损失如何计算？

论文中关键点损失定义如下：
$$L_k=-\frac{1}{N}\sum _{xyc}\{\begin{array}{ll}(1-{\hat{Y}}_{xyc}{)}^{\alpha }\cdot log({\hat{Y}}_{xyc})& Y_{xyc}=1\\ (1-Y_{xyc}{)}^{\beta }\cdot ({\hat{Y}}_{xyc}{)}^{\alpha }\cdot log(1-{\hat{Y}}_{xyc})& otherwise\end{array}$$

式中：${\hat{Y}}_{xyc}$为预测的关键点热力图值； $Y_{xyc}$ 为GT关键点热力图值；$\alpha$和$\beta$ 为权重。

(1) 情况 $Y_{xyc}=1$：

当前坐标正好位于GT中心点上，当前坐标点为正样本，目标是让 ${\hat{Y}}_{xyc}$ 越大越好：

$(1-{\hat{Y}}_{xyc}{)}^{\alpha }$的作用：

• 当${\hat{Y}}_{xyc}=1$时， $(1-{\hat{Y}}_{xyc}{)}^{\alpha }=0$ ，损失为0，这是最理想的情况；

• 当$0\le {\hat{Y}}_{xyc}<1$时，${\hat{Y}}_{xyc}$ 值越大，权重 $(1-{\hat{Y}}_{xyc}{)}^{\alpha }$ 越小，损失越小，即会鼓励 ${\hat{Y}}_{xyc}$ 值增大。

(2) 其他情况：

$Y_{xyc}\ne 1$ 表示当前坐标点为负样本，目标是让 ${\hat{Y}}_{xyc}$ 越小越好。

$({\hat{Y}}_{xyc}{)}^{\alpha }$ 的作用：

• 当 ${\hat{Y}}_{xyc}$ 越小，权重 $({\hat{Y}}_{xyc}{)}^{\alpha }$ 也越小，即让损失越小，减小惩罚；
• 当 ${\hat{Y}}_{xyc}$ 越大，权重 $({\hat{Y}}_{xyc}{)}^{\alpha }$ 也越大，即让损失增大，增大惩罚；

$(1-Y_{xyc}{)}^{\beta }$ 的作用：

• 当关键点远离GT中心点，$Y_{xyc}$ =0，此时 $(1-Y_{xyc}{)}^{\beta }=1$ ，对关键点损失没有影响；

• 当关键点处于GT中心点的高斯圆范围内，$0<Y_{xyc}<1$，此时 $0<(1-Y_{xyc}{)}^{\beta }<1$ ，即让关键点损失减小；

  可见$(1-Y_{xyc}{)}^{\beta }$ 用于弱化GT中心点附近（高斯圆范围内）的负样本损失，而惩罚那些远离GT中心点的预测关键点。

3.3 为何要将目标中心点处理成高斯圆分布?

下图左图中，是不做高斯圆的情形，虽然绿点2更加靠近GT关键点，但是对于网络而言，红点1和绿点2处的关键点损失是一样的，所以网络没有优化方向；

下图右图中，是做一个高斯圆的情形，红点1处于高斯圆之外，将受到惩罚；而绿点在高斯圆内，越往中心，关键点损失越小，即鼓励网络学习到让预测关键点更加靠近GT中心点。

3.4 Loss的设计

CenterNet 总体Loss为：
$$L_{det}=L_k+{\lambda }_{size}{L}_{size}+{\lambda }_{off}{L}_{off}$$
式中： $L_k$ 为上节中的关键点损失， $L_{off}$ 为偏置损失，$L_{size}$为尺寸损失。

偏置损失和尺寸损失的解释如下：

偏置损失：

因为CenterNet网络对图像进行了$R=4$ 的下采样，将特征图重新映射到原始图像上时会带来误差，因此需要每个关键点 $\tilde{p}$ 预测一个偏置 $\hat{O}\in R^{\frac{W}{R}\times \frac{H}{R}\times 2}$。偏置损失使用L1 loss，定义如下：
$$L_{off}=\frac{1}{N}\sum _p|{\hat{O}}_{\tilde{p}}-(\frac{p}{R}-\tilde{p})|$$

式中：${\hat{O}}_{\tilde{p}}$ 表示关键点坐标的预测偏置； $p$ 为GT关键点坐标；$R$ 为下采样因子；$\tilde{p}$ 为预测的关键点坐标。

尺寸损失：

对每个关键点预测其宽高尺寸${\hat{S}}_{p_k}\in R^{\frac{W}{R}\times \frac{H}{R}\times 2}$，尺寸损失使用L1 loss：
$$L_{size}=\frac{1}{N}\sum _{k=1}^N|{\hat{S}}_{p_k}-S_k|$$
式中： $S_k$为GT关键点宽高尺寸。

4 CenterNet 性能效果

在COCO数据集上，CenterNet 使用 Hourglass-104基础网络可以取得较好的检测性能，42.2% AP (7.8 FPS)，比较而言，CornerNet性能为 40.5% AP(4.1 FPS)，ExtremeNet性能为 40.3% AP(3.1 FPS)，可见无论是精度还是速度，CenterNet都有很大的优势。

5 总结

CenterNet 论文的主要贡献包括以下几点：

• CenterNet 提出的anchor-free算法摆脱了NMS后处理复杂计算，更加简单高效。
• CenterNet 可以扩展应用到 3D检测，姿态估计等任务上，为实时目标识别任务提高了新的思路。
• CenterNet 的改进版参见博客：目标检测：一文读懂 TTFNet (CVPR2020)