无监督异常检测中的阈值确定

        实际部署中, 需要设置阈值判断待测样本是否属于异常类,无监督方法对缺陷发生概率的表达往往基于异常分数。

        (1)将归一化的注意力图作为异常分数图,用于像素级的缺陷分割,该方法对阈值设置不敏感

        (2)PaDiM利用多元高斯分布进行特征建模,使用马氏距离度量异常分数,需要通过相关公式理论推导得出保证假阳性率在预期范围内的分界阈值。

但是:这些解决方法不具有普适性,仍然需要借助异常样本来确定最佳阈值,因此借鉴4种使用验证集来设置阈值的方法,且验证集中只包含正常样本。

1.最大缺陷分数法:(没有误检,大量漏检)

        该方法用来设置阈值最简单,将验证集上预测的最大异常分数作为阈值,保证模型对验证集上的正常样本恰好不会产生误检,但是不同种类的缺陷的分数范围不一致,方法过于保守且会在测试时出现大量漏检。

2.P分位数法:(弥补法1的缺陷)

        如果验证集不够纯净,上述方法产生的阈值会过高。设置阈值时需要考察模型在验证集上输出的异常分数的整体分布并且允许存在一定数量的异常像素点,预先设置一个p分位数,以该分位数选择一个阈值,的p%的像素点分类为无异常部分。

3.k-Sigma阈值法

        考察模型在验证集上输出的异常分数,并将其用均值µ、标准差σ的高斯分布建模,然后将阈值定义为t = µ + kσ,如果可以假定此分布完全遵循高斯分布, 则可以选择 k 以在验证集上满足一定的假阳性率, 并推广到测试数据. 然而在实际情况中, 数据很难恰好呈现高斯分布。

4.最大缺陷面积法:

        上述方法仅考虑单个像素的层面, 但事实上, 缺陷图中可能存在被误检为缺陷 的小面积噪点. 因此, 可预先设置最大缺陷面积, 当分割结果的连通域小于该面积时, 则将其滤除. 阈 值同样设置为验证集恰好不被检出缺陷区域的异常分数.

分割指标

         当输出的异常分数图是表示对应像素为缺陷概率的热力图时,需要对其设定相应阈值获得二值化分割结果,可以分为固定阈值的指标和与阈值无关的指标。

        可以采用交并比(IOU)评价两个像素区域的重合情况,一定程度上可以反映分割的位置与形状的准确性

猜你喜欢

转载自blog.csdn.net/qq_60609496/article/details/127480493