错误接受率 (FAR), 错误拒绝率(FRR), 等错误率(EER)

不管是声纹识别和图像识别,以及指纹识别,在评价模型时总要用到这三个指标。下边说下这三个指标的含义。
1、错误接受率 (FAR-False Acceptance Rate)
FAR = nontarget_is_target / ( target_is_target + nontarget_is_target )
另一种比较容易理解的表示方式:
FAR = NFA / NIRA
式中 NIRA 代表的是类间测试次数,既不同类别间的测试次数,打比方如果有1000个识别 模型,有1000个人要识别,而且每人只提供一个待识别的素材,那 NIRA=1000*(1000-1) 。NFA是错误接受次数。
2、错误拒绝率 (FRR-False Rejection Rate)
FRR = target_is_nontarget / ( target_is_nontarget + nontarget_is_nontarget )
比较容易理解的表示方式:
FRR = NFR / NGRA
上式中NFR是类内测试次数,既同类别内的测试次数,打比方如果有1000个识别模型, 有1000个人要识别, 而且每人只提供一个待识别的素 材,那 NIRA=1000,如果每个人提供N张图片,那么 NIRA=N*1000 。NFR是错误拒绝次数。
3、等错误率 (EER-Equal Error Rate)
取一组0到1之间的等差数列,分别作为识别模型的判别界限,既坐标x轴,画出FFR和FAR的坐标图,交点就是EER值。
4、简单的程序实现
假如我们可以得到用户与不同模型之间的相似度,每个用户训练一个模型,提供两个素材 用于识别验证,如下图:
相似度

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

class_in=[] #定义类内相似度列表
class_each=[] #定义类间相似度列表

data = pd.read_csv('filepath.csv') #这里以结果在csv文件为例
user_id_length = len(data.values[0,1:]) #要识别的数量
model_id_length = len(data.values[1:,0])#计算出模型ID数量

for i in range(user_id_length):
    for j in range(model_id_length):
        #需要识别的用户id和模型id一样,就认为是类内测试,否则是类间测试
        if data.values[i+1][0]==data.values[0][j+1]:
            class_in.append(np.float(data.values[i+1][j+1]))
        else:
            class_each.append(np.float(data.values[i+1][j+1]))
FRR = []
FAR = []
thresld=np.arange(0.1,0.9,0.01) #生成模型阈值的等差列表
eer = 1
for i in range(len(thresld)):
    frr = np.sum(class_in < thresld[i])/len(class_in)
    FRR.append(frr)

    far = np.sum(class_each > thresld[i])/len(class_each)
    FAR.append(far)

    if (abs(frr-far)<0.02): #frr和far值相差很小时认为相等
        eer = abs(frr+far)/2

plt.plot(thresld,FRR,'x-',label='FRR')
plt.plot(thresld,FAR,'+-',label='FAR')
plt.grid(True)
plt.legend(bbox_to_anchor=(1.0,1),loc=1,borderaxespad=0.)
plt.show()
print ('EER is: ',eer)

这里我随机生成了一些数据,跑出的效果图如下:

这里写图片描述

因为是随机生成的数据,所以EER的值在0.5左右。

猜你喜欢

转载自blog.csdn.net/huashui2009120/article/details/78483051