第十届“泰迪杯” 数据挖掘挑战赛优秀作品-农田害虫图像识别--特等奖
实验结果分析
4.1.1 实验配置 本篇论文的实验都是基于 Ubuntu 系统下进行，使用 GPU 和 CPU 作为基础硬件， 具体配置运行环境如表 2-1 所示：
4.1.2 评价指标 目标检测任务可以划分为分类和定位两大任务，其中定位任务采用召回率Recall进 行评估；分类任务采用准确率 Precision 进行评估：
其中，TP 表示检测器输出结果中正确的个数，FP 表示检测器输出的结果中错误的 个数。同时，为了更好地平衡分类和定位任务的重要性，我们引入了以准确率和召回率为变量的 PR 曲线。最终，我们的评估指标转换为单个类别表示为 AP，整体准确率 表示为 mAP：
其中，mAP 的计算是采用设定阈值 0.5:0.95 的 mAP 值取平均值得到的。 在通过第二章的离线数据增强方法以后，我们将原图像中的 1019 个目标拓展为 4401 个目标。由于原图像的样本数目较少，为了提升模型的预测能力，同时避免过拟 合的问题出现，我们将原有的验证集和测试集合并，以提升模型的鲁棒性。最终，我 们以 7:1 的比例划分了训练集和测试集，分别含有 3751 和 650 个目标。
4.1.3 数据集划分 在通过第二章的离线数据增强方法以后，我们将原图像中的 1019 个目标拓展为 4401 个目标。由于原图像的样本数目较少，为了提升模型的预测能力，同时避免过拟 合的问题出现，我们将原有的验证集和测试集合并，以提升模型的鲁棒性。最终，我 们以 7:1 的比例划分了训练集和测试集，分别含有 3751 和 650 个目标。
4.2 实验结果 我们分别对 Cascade Mask RCNN 和 swin transformer 这两类模型，进行了训练和测 试，并且通过 mmdetection 的检测程序得到了丰富和详细的算法指标。下面我们将依次 具体展示模型的各项指标。
4.2.1 Cascade Mask RCNN
在 CascadeRCNN 模型中，我们使用了 Resnet-50 作为模型的主干特征提取网络， 采用了 0.25, 0.5, 1.0, 2.0,和 4.0 总计 5 种不同尺度的锚框，并采用了两种不同尺度的图 像输入方式。我们使用了 AdamW 作为神经网络的 optimizer，初始学习率 0.001，并采 用线性衰减的方式。我们使用交叉熵损失函数和 SmoothL1 损失函数分别作为分类和定 位任务的损失函数。对于模型输出结果的后处理方法，我们则采用 Soft NMS。模型总 计训练 100 个周期，随机数种子为 42，训练每个周期采用 3 倍的训练集输入方法，以 提升训练的稳定性，相当于训练 300 个周期。
下面展示的是模型的 mAP 和召回率的变化值。如图 所示，模型的 mAP 和召回率 在 15 个周期之后达到稳定，20-60 个周期属于模型微调阶段，第 60 个周期以后模型各 项指标趋于稳定。
最后，我们选取了第 65、80 和 95 个周期的权重值，作为随机权重 SWA 的输入。 在表-中，我们将展示了效果最佳的第 80 个周期的各类别害虫准确率的情况
4.2.2 Swin-S Cascade Mask RCNN
在 Swin-S Cascade Mask RCNN 模型中，为了兼顾检测的准确率和速率，我们使用 了基于 Swin-Transformer 的预训练主干的 small 版本。在这一版本中，我们同样采用了 多尺度锚框的设计方式。在损失函数设计，optimizer 和模型后处理方法上，我们均体 现了一致性。模型总计训练 30 个周期，随机数种子为 42，训练每个周期采用 3 倍的训 练集输入方法，以提升训练的稳定性，相当于训练 90 个周期。如图 所示，Swin-S Cascade Mask RCNN 模型收敛速度明显快于 Cascade Mask RCNN，模型的 mAP 和召回 率在 10 个周期之后达到稳定，10-15 个周期属于模型微调阶段，第 15 个周期以后模型 各项指标趋于稳定。
结合 SWA 之后 Swin-S Cascade Mask RCNN 模型的识别结果如下表所示：
4.2.3 消融试验
从上述实验结果能够看到，我们的方法能够以很高的精度进行农田害虫的定位和 识别。为了能够更好的对比论文中使用到的各种创新点的性能表现，我们进一步进行 了消融试验，分别对比了在相同的 backbone——Resnet50 以及相同的多尺度 FPN 策略 下，Faster RCNN、Casecade RCNN 和 Swin-S Cascade Mask RCNN，以及三种模型结合 SWA 和 NMS 的性能表现，消融试验结果如下表所示
从表中我们可以看到，在基本的模型设置下，Faster RCNN、Casecade RCNN 和 Swin-S Cascade Mask RCNN中，Swin-S Cascade Mask RCNN的 mAP最高，能达到 0.831， 并且进一步对比 Casecade RCNN 和 Swin-S Cascade Mask RCNN 结合 SWA 和 NMS 操作 之后，性能都进一步的提高，最终能够在验证集上的 mAP 能达到 0.876 的性能。从消 融试验中，我们可以看到，采用的基本的目标检测框架和所进行的 SWA 和 NMS 多模 型融合，都能对结果的提升产生正面的影响。
4.2.4 识别效果展示
为了直观的看到在测试集上的识别效果，我们在消融试验之外，在测试图片上直接 显示出识别出的目标位置，如图 4-3 所示：
从上面两个识别结果图 4-3、图 4-4 可以看到，无论是简单背景下还是复杂背景 下，我们的模型都能够很好的检测到害虫所在位置，并且针对一些小目标害虫，也能 够达到不错的识别效果。