【YOLOv7】主要改进点详解

YOLOv7介绍

YOLOv7论文在上个月6号挂在了Arxiv上之后，引起了巨大轰动，短短一个月的时间，Github上就有了4.3k个Star。

从论文题目可以看出来，YOLOv7又是一个集大成者的杰作；从Github源码可以看出， 整体结构与YOLOv5极其相似，因此有YOLOov5基础的小伙伴可以无脑上手v7。

另外来看下v7的两位大牛作者，一作是 Chien-Yao Wang，近几年一直耕耘在目标检测领域，尤其是YOLO系列，代表作：YOLOv7、YOLOR、ScaledYOLOv4、CSPNet等。二作是 Alexey Bochkovskiy，就是在20年Joseph Redmon宣布退出CV领域后扛起YOLO系列大旗并发布YOLOv4的那位大神。
 

整体网络架构

YOLOv7完整网络架构以及各组件的详细解析可以移步至：【YOLOv7_0.1】网络结构与源码解析，这里从另一个角度来了解YOLOov7的网络架构：

上面这张图是根据我目前的理解，对YOLOv7的整体结构进行的拆分，可能会有不正确的地方，欢迎各位小伙伴前来交流~

可以很清楚的看到，YOLOv7大部分继承自YOLOv5，包括整体网络架构、配置文件的设置和训练、推理、验证过程等等，基本上熟悉v5就可以无脑上手v7了；此外，v7也有不少继承自YOLOR，毕竟是同一个作者前后年的工作，包括不同网络的设计、超参数设置以及隐性知识学习的加入；还有就是在正样本匹配时仿照了YOLOX的SimOTA策略。

除了这些在已有YOLO版本中的算法之外，YOLOv7还包括了近几年最新的trick：高效聚合网络（目前论文还未接收）、重参数化卷积、辅助头检测、模型缩放等等，因此学习YOLOv7还是非常有价值的。
 

高效聚合网络

图a和图b是之前常用的特征提取网络，图c则是YOLOv7主要用到的ELAN网络，虽然有引文，但是并没有任何详细资料来学习，对此，作者是这么说的：

ELAN paper will be released after accept at the latest.

好叭，那就再等等。图d是对ELAN的改进，其等效网络就是下面这个，也就是两个ELAN（红框里）的Concat，作者的解释是：

For E-ELAN architecture, since our edge device do not support group convolution and shuffle operation, we are forced to implement it as an equivalence architecture.

重参数化卷积

重参数化的作用：在保证模型性能的条件下加速网络，主要是对卷积+BN层以及不同卷积进行融合，合并为一个卷积模块。

下面给出了卷积+BN融合的公式化过程，红色表示卷积参数（权重和偏置），蓝色是BN参数（$m$是输入均值，$v$是输入标准差，$\gamma$和$\beta$是两个可学习的参数），最终经过一系列化简，融合成了一个卷积：

在YOLOv7中，除了网络最后使用RepConv重参数化卷积之外，作者也提到了其他三处使用重参数化技巧的地方：

we perform reparameterization on conv-bn, repconv, orepa, and yolor.

对应model/yolo.py中model类的fuse函数（这里）：

辅助头检测

YOLOv7中，将head部分的浅层特征提取出来作为Aux head（辅助头），深层特征也就是网络的最终输出作为Lead head（引导头），如图b所示。

在计算损失时：

• 图c的策略是，lead head和aux head分别、单独计算损失，最终相加
• 图d的策略是，lead head单独计算损失，aux head将lead head匹配得到的正样本作为自己的正样本，并计算损失，最终相加（占比不同）
• 图e的策略是，lead head单独计算损失，aux head将lead head匹配得到的正样本（这里是粗匹配，也就是选择GT框中心点所在网格的上下左右4个邻域网络作为正样本筛选区域）作为自己的正样本，并计算损失，最终相加（占比不同）

以training/yolov7-w6.yaml为例，最后detect模块的前四层为lead head，后四层为aux head，在推理时，只取前四层作为detect层的输出：

动态标签分配

YOLOv7的标签分配策略（正样本筛选），集成了YOLOv5和YOLOX两者的精华：

• YOLOv5
  Step1：Autoanchor策略，获得数据集最佳匹配的9个anchor（可选）
  Step2：根据GT框与anchor的宽高比，过滤掉不合适的anchor
  Step3：选择GT框的中心网格以及最邻近的2个邻域网格作为正样本筛选区域（辅助头则选择周围4个邻域网格）

• YOLOX
  Step4：计算GT框与正样本IOU并从大到小排序，选取前10个值进行求和（P6前20个），并取整作为当前GT框的K值
  Step5：根据损失函数计算每个GT框和候选anchor的损失，保留损失最小的前K个
  Step6：去掉同一个anchor被分配到多个GT框的情况

总结

概括：

• YOLOv7在5FPS到160FPS的范围内，无论是速度或是精度，都超过了目前已知的检测器
• 在V100上进行测试， 精度为56.8%AP的模型可达到30FPS（batch=1）以上的检测速率
• 目前唯一一款在如此高精度下仍能超过30FPS的检测器

不足：

• 代码冗余，版本更新问题
• 精度虚高（参考：如何评价AlexeyAB版的YOLOv7？）
• 验证时数据预处理的图像缩放异常（没有做padding操作）
• 验证时的NMS异常（应该是multi_label = False）

参考资料
目标检测算法——YOLOV7——详解
如何评价AlexeyAB版的YOLOv7？