（十四）论文阅读 | 目标检测之EfficientDet

---

简介

图1：论文原文

${\rm EfficientDet}$是 $2019$年发表在 ${\rm arXiv}$上的一篇基于神经架构搜索（ ${\rm Neural\ Architecture\ Search,NAS}$）的目标检测方法。 此前，论文作者提出的发表在 ${\rm ICML\ 2019}$上的图像分类方法 ${\rm EfficientNet}$在速度、精度、参数量上均表现最佳。不得不说，虽然 ${\rm NAS}$得到的模型效果好，但同时需要昂贵的硬件资源。同样地， ${\rm EfficientDet}$在所有目标检测方法中达到 ${\rm SOTA}$。
论文原文 源码

在介绍下一部分前，首先简要介绍 ${\rm EfficientNet}$的相关工作。 ${\rm EfficientNet}$是基于 ${\rm NAS}$得到的模型，这里以基于强化学习介绍 ${\rm NAS}$。作者注意到，合理的模型缩放能够显著增加其性能，但同时需要注意不平衡的缩放会降低模型性能。在计算资源有限的情况下，如何有效地增大模型的深度、宽度和分辨率是 ${\rm EfficientNet}$关心的重点。论文提出一种的新的缩放方法，即使用一个复合系数均匀地增大模型的各个维度，基于 ${\rm NAS}$让模型自动学习最佳模块和缩放系数。下图是实验结果对比：

图2：EfficientNet实验结果对比

上图是在 ${\rm ImageNet}$数据集上的实验结果。 ${\rm EfficientNet\ B0﹣B7}$是在 ${\rm EfficientNet\ B0}$的基础上使用不同复合系数得到。下面给出 ${\rm EfficientNet\ B0}$的网络结构：

图3：EfficientNet B0网络结构

其中 ${\rm MBConv}$指 ${\rm Mobile\ Inverted\ Bottleneck}$，来自于 ${\rm Mobilenetv2}$，是一种轻量模块。具体可阅读这里。

---

0. Abstract

作者系统地利用 ${\rm NAS}$得到一个目标检测模型，并通过几个关键点对其优化。首先，提出一种新的特征融合方法， ${\rm BiFPN}$；其次，提出一种复合缩放方法，涉及对模型分辨率、深度、宽度、分类网络、回归网络等的缩放。实验结果为在 ${\rm MS\ COCO}$数据集上的 ${\rm AP}$为 $52.2$、参数量为 ${\rm 52M}$、计算量为 ${\rm 325B}$。
论文贡献：（一）提出一种新的目标检测模型家族， ${\rm EfficientDet}$；（二）提出新的带权特征融合模块， ${\rm BiFPN}$；（三）将模型的复合缩放方法应用于目标检测任务中。

---

1. Introduction

针对是否能够在计算资源有限的情况下构建一个高精度、高效率、可扩展的目标检测模型的问题，论文提出了一系列针对 ${\rm backbone}$、特征融合、分类/回归网络优化的方法。
（1）高效的多尺度特征融合方法 此前， ${\rm FPN}$是一种常用的多尺度特征融合方法。最近， ${\rm PANet}$和 ${\rm NAS﹣FPN}$等提出一类混合尺度融合的方法。但由于不同尺度的特征图具有不同分辨率，对融合后的特征图贡献也有所不同，简单地对不同尺度相加并非最佳的方法。基于以上问题，论文提出一种双向特征金字塔网络（ ${\rm BiFPN}$），通过可学习权重融合不同尺度的特征；
（2）高效的模型缩放方法 此前，目标检测模型想要获得高性能，必须通过设计一个大型 ${\rm backbone}$或增大模型分辨率来提高其提取特征的能力。但这同样会带来计算速度的降低和模型参数量的增加。基于 ${\rm NAS}$的思想，论文提出一种复合缩放方法，对模型分辨率、深度、宽度、分类网络、回归网络进行优化；
（3）高效的骨干网络 基于 ${\rm EfficientNet}$在分类任务上获得了优异的结果，论文提出新的目标检测模型家族， ${\rm EfficientDet}$。下图可视化了目标检测实验结果对比：

图4：几种目标检测模型的对比

---

2. Related Work

相关工作部分首先介绍了一阶段检测方法和两阶段目标检测方法，并指出论文主要基于一阶段方法，在保证模型推理速度的前提下提高模型的精度；其次，介绍了特征融合的相关工作，包括 ${\rm FPN}$、 ${\rm PANet}$、 ${\rm STDL}$、 ${\rm M2det}$、 ${\rm G﹣FRNet}$、 ${\rm NAS﹣FPN}$等；最后，介绍了模型缩放的相关工作，包括 ${\rm ResNet}$、 ${\rm ResNeXt}$等。论文主要基于 ${\rm EfficientNet}$设计模型缩放方法。

---

3. BiFPN

3.1 Problem Formulation

多尺度融合致力于将不同分辨率的特征图融合，给定一系列特征 $\vec{P}^{in}=(P^{in}_{l_1},P^{in}_{l_1},...)$，其中 $P^{in}_{l_i}$表示第 $l_i$层特征。设 $f$是一种特征融合方法，则 $\vec{P}^{out}=f(\vec{P}^{in})$。

3.2 Cross-Scale Connections

混合尺度融合致力于将多个不同分辨率的特征图信息融合。 ${\rm PANet}$将自上而下结构和自下而上结构结合，丰富融合后的特征图语义信息。而 ${\rm NAS﹣FPN}$基于神经架构搜索技术，得到一种混合尺度融合方法，但同时需要大量的计算运力。论文对混合尺度融合做了以下优化：去掉只含有一个输入的特征图；如果输入同输出位于同一尺度，则添加一个额外连接；多次使用融合自上而下结构和自下而上结构的模块以加强模型提取特征的能力。下图展示了以上提到的几种模块：

图5：几种特征融合方式

上图 ${\rm (a)}$的 ${\rm FPN}$结构中， ${\rm P_i}$是通过 ${\rm CNN}$得到的自下而上的路径；然后通过上采样得到一条自上而下的路径；最后通过横向连接和上采样统一特征图分辨率，得到包含不同尺度语义信息的特征图。
上图 ${\rm (b)}$的 ${\rm PANet}$结构中，左边部分是一个 ${\rm FPN}$结构；右边再通过下采样得到一条自下而上的路径；最后通过横向连接和上采样统一特征图分辨率，得到包含不同尺度语义信息的特征图。
上图 ${\rm (c)}$的 ${\rm NAS﹣FPN}$结构中，在每个特征融合模块中包含了横向连接、上采样、下采样、跳跃连接等；最后模型中包含多个这样的特征提取模块。
上图 ${\rm (d)}$的 ${\rm BiFPN}$结构中，每个特征融合模块中包含了类似于 ${\rm PANet}$的结构；其中同样也加入了跳跃连接；最后模型中包含多个这样的特征提取模块。

3.3 Weighted Feature Fusion

带权特征融合方法主要包含以下三种：（1） $O=\sum_{i}w_i·I_i$，其中权重通过融合特征图的分辨率确定，论文提出通过权重归一化约束其值范围以稳定训练过程；（2） $O=\sum_{i}\frac{e^{w_i}}{ε+\sum_{j}e^{w_j}}·I_i$，以 ${\rm softmax}$的形式确定各权重，但实验证明这种方式会将模型性能；（3） $O=\sum_{i}\frac{w_i}{ε+\sum_{j}w_j}·I_i$，这是论文使用的求带权特征融合权重的方法。如图 ${\rm (5)}$中的 ${\rm (d)}$，以求自上而下的中间特征 $P^{td}_6$和自下而上的输出特征 $P^{out}_6$为例： $P^{td}_6=Conv(\frac{w_1·P^{in}_6+w_2·Resize(P^{in}_7)}{w_1+w_2+ε})\\ \\ P^{out}_6=Conv(\frac{w_1^{'}·P^{in}_6+w^{'}_2·P^{td}_6+w^{'}_3·Resize(P^{out}_5)}{w_1^{'}+w^{'}_2+w^{'}_3+ε})$

$P^{td}_6$和 $P^{out}_6$分别是 ${\rm (5)}$中的 ${\rm (d)}$中的两个蓝色位置。

---

4. EfficientDet

4.1 EfficientDet Architecture

下图是 ${\rm EfficientDet}$的网络结构：

图6：EfficientDet网络结构

上图中 ${\rm backbone}$部分沿用 ${\rm EfficientNet}$，然后接三个特征融合模块 ${\rm BiFPN}$；最后是分类和回归网络。

4.2 Compound Scaling

为了提高模型的精度和效率，本部分介绍使用混合缩放方法进行模型缩放。
${\rm Backbone\ Network}$，骨干网络部分沿用 ${\rm EfficientNet}$中的模型缩放方法。
${\rm BiFPN\ Network}$，论文采用线性增加 ${\rm BiFPN}$的深度 $D_{bifpn}$和宽度 $W_{bifpn}$的方法，经实验确定 $1.35$为最佳宽度缩放因子。得到： $W_{bifpn}=64·(1.35^{φ}),\ \ \ D_{bifpn}=3+φ\tag{4.1}$

${\rm Box/Class\ Prediction\ Network}$，固定分类网络和回归网络的宽度即 $W_{pred}=W_{bifpn}$，然后增加其深度： $D_{box}=D_{class}=3+\lfloor{φ/3}\rfloor \tag{4.2}$

${\rm Input\ Image\ Resolution}$，线性增加输入图像的分辨率： $R_{input}=512+φ·128\tag{4.3}$

下图展示使用不同的 $φ$值得到 ${\rm EfficientDet\ B0﹣B7}$：

图7：EfficientDet B0-B7

---

5. Experiments

模型训练和测试过程中的细节请阅读原文，这里直接给出目标检测实验结果对比：

图8：目标检测实验结果对比

此外，论文还针对 ${\rm backbone}$、 ${\rm BiFPN}$、权重方法、混合缩放等做了一系列消融实验，详细内容请阅读原文。

---

6. Conclusion

作者基于提出的高性能图像分类网络 ${\rm EfficientNet}$，提出目标检测家族 ${\rm EfficientDet}$。沿用前者在缩放网络中的复合缩放网络的方法，对 ${\rm backbone}$、特征融合、分类回归网络等提出优化。提出一种新的带权特征融合模块， ${\rm BiFPN}$。最后，对模型中的各个模块进行缩放，得到不同的网络结构。在 ${\rm MS\ COCO}$数据集上的速度、精度、计算量均达到了 ${\rm SOTA}$。
阅读本文的目的有：一来是想了解传统的目标检测方法（相比于 ${\rm Anchor﹣Free}$）的发展前沿；二来是了解基于 ${\rm NAS}$得到的目标检测模型与人为设计模型的异同；然后是了解模型缩放在目标检测任务中的应用；最后是 ${\rm EfficientDet}$在公开数据集上达到了 ${\rm SOTA}$。在逛到其他论坛时，发现其他人在复现论文模型时掉进很多坑，一是硬件要求；二是调参要求。如果没有硬件条件，可以直接使用文中得到的模型结构。具体内容可以参考官方提供的源码和[参考]中几位民间高手复现的结果。

由于没有阅读源码，本文只总结了 ${\rm EfficientDet}$的大体结构和信息，详细内容请阅读论文原文。

---

参考

1. Tan M, Pang R, Le Q V. Efficientdet: Scalable and efficient object detection[J]. arXiv preprint arXiv:1911.09070, 2019.
2. Tan M, Le Q V. Efficientnet: Rethinking model scaling for convolutional neural networks[J]. arXiv preprint arXiv:1905.11946, 2019.
3. Liu S, Qi L, Qin H, et al. Path aggregation network for instance segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 8759-8768.
4. https://github.com/zylo117/Yet-Another-EfficientDet-Pytorch.
5. https://github.com/toandaominh1997/EfficientDet.Pytorch.

---

完

---