The Second-place Solution for CVPR VISION 23 Challenge Track 1 - Data Effificient Defect Detection
论文：https://arxiv.org/pdf/2306.14116.pdf
代码：https://github.com/love6tao/Aoi-overfitting-team
1 概述
该报告详细介绍了Aoi-overfifitting-Team团队在Data-Efficient Defect Detection Challenge中的技术细节。该挑战要求在有限的训练样本下对14个工业检测数据集进行实例分割。团队的方法主要关注在训练样本有限的情况下，如何提高缺陷掩码的分割质量。他们采用了基于混合任务级联（HTC）实例分割算法的变换器骨干（SwinB），并通过受CBNetv2启发的复合连接来增强基线结果。此外，团队还提出了两种模型集成方法，一种是将语义分割与实例分割相结合，另一种是采用多实例分割融合算法。最后，通过采用多尺度训练和测试时增强（TTA），团队在Data-Efficient Defect Detection Challenge的测试集上取得了显著的成绩，平均[email protected]:0.95超过48.49%，平均[email protected]:0.95为66.71%。
2 Approach
2-1 Base instance segmentation model
采用了在Imagenet-22k数据集上预训练的Swin-B网络作为我们的基础骨干网络。为了进一步提高性能，受到CBNetv2算法的启发，通过复合连接将两个相同的Swin-B网络进行组合。
2-2 Incorporating semantic segmentation into instance segmentation
接着，采用Mask2Former 训练了一个强大的语义分割模型，以进一步改善分割性能，并将语义分割的结果与实例分割的结果进行融合。这种融合的方法可以综合利用两种分割方法的优势，从而得到更准确和完整的分割结果。
2-3 Fusion of multiple instance segmentations
分别将HTC、级联Mask rcnn-ResNet50和级联Mask rcnn-ConvNext模型三个不同的分割模型，根据基于掩模的mAP的大小，给予模型不同的权重。具体而言，根据mAP的大小，给予模型的权重越高，从而最小化精度损失，提高分割的准确性。最后，还使用基于掩模IoU的非最大抑制（NMS）技术对所有经过置信度调整的模型检测结果进行进一步处理，以过滤掉冗余的检测结果。这种处理方式可以有效地去除重复的检测结果，提高分割算法的鲁棒性和准确性。
3 Experiments
