（五）论文阅读 | 目标检测之Libra R-CNN

---

简介

图1：论文原文

论文是发表在 ${\rm CVPR2019}$上的一篇关于目标检测论文，主要讨论的是一种“平衡学习”的思想。
论文原文 源码

---

0. Abstract

论文摘要部分指出，人们往往更加注重网络结构的设计，而关注较少的训练过程对模型性能的影响也显著。基于大量目标检测方法，作者认为检测器的性能与训练过程的不平衡性有关：采样、特征、损失函数。论文提出的 ${\rm Libra\ R}$- ${\rm CNN}$包含 ${\rm IoU}$平衡采样、平衡特征金字塔、平衡 ${\rm L1}$损失对应于解决上述问题。实验结果为该方法在 ${\rm MS\ COCO}$数据集上的 ${\rm AP}$比 ${\rm FPN\ Faster\ R}$- ${\rm CNN}$和 ${\rm RetinaNet}$分别高 ${\rm 2.5}$和 ${\rm 2.0}$。
论文贡献：（一）指出训练过程中存在的三类不平衡的问题影响了目标检测算法的性能；（二）提出 ${\rm Libra\ R}$- ${\rm CNN}$用于解决上述三类问题；（三）在当前目标检测算法上表现 ${\rm SOTA}$。

---

1. Introduction

引言部分，作者首先指出一阶段算法或二阶段算法大都遵循一种通用的训练做法：选择候选区域、提取特征、通过多任务损失函数识别和修正。
基于上述流程，算法的与否对应于三个方面：选择的候选区域是否具有代表性、是否充分利用提取的特征、损失函数是否最优。作者将这三类问题归结为：（1）采样不平衡，正负样本的平衡采样对提高目标检测算法性能至关重要。而不平衡采样通常是由随机采样造成的，随后提出的 ${\rm OHEM}$是一种有效的缓解方法，但其对噪声敏感且需要巨大的存储空间和计算量、 ${\rm Focal\ Loss}$在一阶段算法中能有效缓解采样不平衡的问题，但由于大多数负样本被 ${\rm RPN}$等过滤掉，其在 ${\rm R}$- ${\rm CNN}$中成效甚微；（2）特征不平衡， ${\rm FPN}$和 ${\rm PANet}$采用了将高层信息和低层信息融合的方法提高了检测器的性能。但其融合方法是否为为最佳？作者研究指出融合时需要平衡地利用不同分辨率的特征；（3）损失函数不平衡（这里暂且这样翻译，论文原意是指能否设计出合适的损失函数，使得分类任务和定位任务平衡），目标检测器包含同时分类和定位任务，如果二者在训练过程中不能达到适当的平衡，某个任务可能会取得较差的结果。下图列出了训练过程中的不平衡：

图2：训练过程中的不平衡

对应于上述问题，论文提出的 ${\rm Libra\ R}$- ${\rm CNN}$包含三个对应的解决方法： ${\rm IoU}$平衡采样，根据候选框与标注框的 ${\rm IoU}$挖掘难例样本；平衡特征金字塔，使用深度集成的语义特征来增强多级特征；平衡 ${\rm L1}$损失，提升关键部分的梯度，从而重新平衡分类和定位任务。

---

2. Related Work

在目标检测方面，一阶段检测算法 ${\rm R}$- ${\rm CNN}$、 ${\rm SPP}$、 ${\rm Fast}$ ${\rm R}$- ${\rm CNN}$、 ${\rm Fater}$ ${\rm R}$- ${\rm CNN}$、 ${\rm FPN}$、 ${\rm Cascade\ R}$- ${\rm CNN}$、 ${\rm Mask\ R}$- ${\rm CNN}$、 ${\rm HTC}$，两阶段检测算法 ${\rm YOLO}$、 ${\rm SSD}$、 ${\rm RetinaNet}$、 ${\rm CornerNet}$。
在平衡学习方面，采样平衡 ${\rm OHEM}$、 ${\rm Focal\ Loss}$，特征平衡 ${\rm FPN}$、 ${\rm PANet}$、 ${\rm Global}$- ${\rm Local}$，损失函数平衡 ${\rm Multi}$- ${\rm Task\ Learning}$、 ${\rm UnitBox}$、 ${\rm IoU}$- ${\rm Net}$。

---

3. Methodology

图3：Libra R-CNN

图 ${\rm 3}$是 ${\rm Libra\ R}$- ${\rm CNN}$的结构，下面几部分将分别详细介绍 ${\rm IoU}$平衡采样、平衡特征金字塔、平衡 ${\rm L1}$损失。

3.1 IoU-Balanced Sampling

难例采样是目标检测中的常见问题，所谓难例采样指在训练过程中，首先生成大量候选框，而其中大量为负样本且大部分负样本对训练有弊无利；而其中少量的正样本对训练有利。这时，为了提高模型的性能，通常会将错得很厉害的样本（ ${\rm IoU}$值很小的负样本）重新扔回网络训练，一方面可以缓解正负样本不平衡的问题，另一方面模型通过反复训练这类样本有助于提高模型的鲁棒性。则称采样这类样本的过程称为难例采样。针对采样结果，论文做了一个实验，得到如下结果：

图4：不同采样方法得到的IoU值

由上图可知，由随机采样得到的结果中，超过 ${\rm 70\%}$的样本的 ${\rm IoU}$在 $0$到 $0.05$之间。造成这种结果的主要原因是，一幅图像中目标可能只占很小块区域，而大部分候选框不包含目标信息。而实验得到 ${\rm 60\%}$的难例样本的 ${\rm IoU}$大于 $0.05$，随机采样的结果只能贡献 ${\rm 30\%}$的难例样本。不平衡性的采样方法导致大量难例样本的丢失。

基于实验结果，论文提出了 ${\rm IoU}$平衡采样，其思想是：假设需要从 $M$个样本中采样 $N$个负样本，则每个样本的概率为 $p=\frac{N}{M}$。为了提高难例样本被选中的概率，采取如下操作：根据 ${\rm IoU}$将采样区间均匀地分为 $K$个格子，然后在每个格子中均匀地采样 $N$个难例样本。因此，由 ${\rm IoU}$平衡采样得到每个难例样本的概率为：
$p_k=\frac{N}{K}*\frac{1}{M_k}\ k∈[0,K) \tag{3.1}$

其中 $M_k$为每个格子中候选样本的数量， $k$为区间数， $K=3$，后续实验证明模型对 $K$值的选取不敏感。上述采样方法可避免在某几个区间集中采样，将采样操作平均到各个区间中，有助于采样结果的平衡性。

由图4可以得到， ${\rm IoU}$平衡采样的结果接近于难例挖掘。论文还指出，该采样方法可用于 ${\rm Hard\ Positive}$采样，但是由于正类候选样本不足，则可以采用对每个标注框平均采样的方法。

3.2 Balanced Feature Pyramid

图5：平衡特征金字塔

假设以 $C_l$表示第 $l$层特征，以 $L$表示特征层的数目，以 $l_{min}$和 $l_{max}$分别表示最低层特征和最高层特征。为了整和不同特征层的语义信息，论文提出：使用插值或池化的方法将不同特征层 $C_2,C_3,C_4,C_5$整合为一个适中的尺寸 $C_4$，即得到的平衡语义特征为：
$C=\frac{1}{L}\sum_{l=l_{min}}^{l_{max}}C_l\tag{3.2}$

上式为一个简单的带权相加。

接着，论文使用高斯非局部注意力机制加强整合的特征。最后，使用 ${P_2,P_3,P_4,P_5}$作为预测层。

3.3 Balanced L1 Loss

首先看一下多任务损失函数的形式：
$L_{p,u,t^u,v}=L_{cls}(p,u)+λ[u≥1]L_{loc}(t^u,v)\tag{3.3}$

$L_{cls}$和 $L_{loc}$分别为分类损失和定位损失 $p、t^u$和 $u、v$分为别预测内容和标注内容， $λ$为平衡参数。现在定义：损失函数值大于或等于1.0的样本成为离群点，其余的称为内联点。平衡分类任务和定位任务的通用做法是调整 $Loss$的权重，但这也会使得模型对离群点敏感。离群点可视为难例样本，会产生较大的梯度而对训练过程有害；内联点可视为易分样本，只会产生较小的梯度。基于上述情况，论文提出了平衡 ${\rm L1}$损失 $L_b$，平衡 ${\rm L1}$损失来自于 ${\rm L1\ Smooth}$损失。

${\rm L1\ Smooth}$损失函数的形式为： $L =\left\{ \begin{aligned} &0.5x^2&if\ |x|＜1\\ &|x|-0.5&otherwise \end{aligned} \right.$

求导： $\frac{∂L}{∂x} =\left\{ \begin{aligned} &x&if\ |x|＜1\\ &-1&x<-1\\ &1&x>1 \end{aligned} \right.$

基于上式 ${\rm L1\ Smooth}$损失函数的导数形式，论文提出 $L_b$满足：

$\frac{∂L_b}{∂x} =\left\{ \begin{aligned} &α{\rm ln}(b|x|+1)&if\ |x|＜1\\ &γ&otherwise \end{aligned} \right.\tag{3.4}$

则定位损失可写为：
$L_{loc}=\sum_{i∈x,y,w,h}L_b(t_i^u-v_i)\tag{3.5}$

梯度计算方法为：
$\frac{∂L_{loc}}{∂w}∝\frac{∂L_b}{∂t_i^u}∝\frac{∂L_b}{∂x}\tag{3.6}$

根据上述导数形式，反求出 $L_b$的形式为：
$L_b(x) =\left\{ \begin{aligned} &\frac{α}{b}(b|x|+1){\rm ln}(b|x|+1))-α|x|&if\ |x|＜1\\ &γ|x|+C&otherwise \end{aligned} \right.\tag{3.7}$

其中各参数满足下式：
${α}{\rm ln}(b+1)=γ\tag{3.8}$

平衡 ${\rm L1}$损失同 ${\rm L1\ Smooth}$损失的实验结果对比：

图6：损失函数实验结果对比

由上图可知，在 $Loss$值增长不明显的情况下，梯度增加非常快。

---

4. Experiments

图7：实验结果对比

各平衡学习的消融实验：

图8：消融实验结果对比

此外，文章还对三个不同平衡学习的参数设置做了消融实验，具体结果可查看原论文。

---

5. Conclusion

本文首先指出训练过程中的不平衡性会影响目标检测器的性能，然后针对问题提出的 ${\rm Libra\ R}$- ${\rm CNN}$分别解决对应问题。
论文的“平衡学习”思想很有借鉴作用，考虑以后能作为提高目标检测算法性能的一种选择。

由于没有阅读源码，本文只总结了 ${\rm Libra\ R}$- ${\rm CNN}$的大体结构和信息，详细内容请阅读论文原文。

---

参考

1. https://zhuanlan.zhihu.com/p/64541760.
2. Pang J, Chen K, Shi J, et al. Libra r-cnn: Towards balanced learning for object detection[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 821-830.

---

完

---