【目标检测】超分重建对小目标检测有效性探究

前言

前段时间在看一些小目标检测的文献综述,看到一种思路是将图片超分重建之后再送到检测网络中进行检测。
优点是检测效果提升,缺点是可能会造成伪影。
实践出真知,本篇就用DOTA-test数据集中的一张图像来做测试,探究超分重建是否对小目标检测起到帮助。

超分模型

本次实验选用的是之前使用过的Real-ESRGAN,作者提供了一个方便快捷的工具包,可以用命令行的方式快速进行图像/视频的超分转换。

下面这两张图是上篇博文用到的大图局部。

转换之前:
在这里插入图片描述
在这里插入图片描述

转换之后:
在这里插入图片描述
在这里插入图片描述
可以看到图像的清晰度提升了不少,不过由于该模型的预训练权重作者主要是在动漫图上进行训练,因此重建出的结果会一些动漫风格。

结果对比

由于重建出的图片默认会是原图的4倍大小,为了对比的公平性,将重建之后的原图用线性插值方式(PS自动调节),重设为原图尺寸。

然后分别输入YOLOv5网络中,利用之前训练好的YOLOv5L模型进行检测,其结果如下图所示:

重建前:
在这里插入图片描述
重建后:
在这里插入图片描述
从这组对比可以发现,重建之后确实检测出了更多图像。

下面再换一块区域,进行对比:

重建前:
在这里插入图片描述
重建后:
在这里插入图片描述
从这组对比可以看到,重建之后,模型检测出了原本没检测到的面包车(蓝色框),但与此同时,也丢失了部分原本检测出的对象。

总结

超分重建相当于是对图像进行了优化,微调了整体的光照色彩,减少了噪点。但这并不代表一定能优化目标的检测,最多是从另一个视角进行再次检测,效果变好变坏都有可能。

猜你喜欢

转载自blog.csdn.net/qq1198768105/article/details/126547622