darknet源码剖析（四）do_nms_sort详解

在yolo模型inference执行完成后，会产生很多的冗余结果，此时就需要调用nms对冗余结果进行去重。

nms函数在darknet框架中是do_nms_sort函数，位于box.c文件中，现对do_nms_sort过程做详细分析：

    for(i = 0; i <= k; ++i){
        if(dets[i].objectness == 0){
            detection swap = dets[i];
            dets[i] = dets[k];
            dets[k] = swap;
            --k;
            --i;
        }
    }

上述循环过程的功能是将没有物体的检测结果由后向前交换，--k表示最后一个位置向前移动一个位置，--i后再++i表示i的位置没有改变，之所以采用这一做法的原因是，交换后的检测结果可能同样objectness为0，因此先保持在原位置不变，当检测结果的objectness不为0时，才移动到下一个物体。

经过上述过程，所有检测结果中不包含物体的全部被移动到了最后，包含物体的检测结果全部被移动到了数组前方。

    for(k = 0; k < classes; ++k){
        for(i = 0; i < total; ++i){
            dets[i].sort_class = k;
        }
        qsort(dets, total, sizeof(detection), nms_comparator);
        for(i = 0; i < total; ++i){
            if(dets[i].prob[k] == 0) continue;
            box a = dets[i].bbox;
            for(j = i+1; j < total; ++j){
                box b = dets[j].bbox;
                if (box_iou(a, b) > thresh){
                    dets[j].prob[k] = 0;
                }
            }
        }
    }

然后按照类别对检测结果进行排序，排序的依据是某个检测结果属于某一类的概率，调用nms_comparator函数。

        for(i = 0; i < total; ++i){
            if(dets[i].prob[k] == 0) continue;
            box a = dets[i].bbox;
            for(j = i+1; j < total; ++j){
                box b = dets[j].bbox;
                if (box_iou(a, b) > thresh){
                    dets[j].prob[k] = 0;
                }
            }
        }

最后一个二重循环的作用是，计算两个检测结果之间的iou，若二者之间的iou大于thresh，则将后者直接置0，认为上述两个框是同一个框。此处代码中给出的thresh是0.45。但上述做法实际上产生了一个问题，若两个物体重叠部分大于thresh，则会造成其中一个物体的丢失，进而造成准确率的下降。解决上述问题已有一些方法，但不是本文的重点，此处先暂且不表。

至此do_nms_sort的过程就分析完成了，总结起来就是三个过程：

1）去除没有物体的检测结果。

2）按照检测结果类别排序。

3）计算检测结果之间的iou，若大于thresh，则舍去。

darknet源码剖析（四）do_nms_sort详解

猜你喜欢