信息检索指标-查准率(Precision),查全率(Recall),平均准确率(mAP)

 一.查准率和查全率

查准率=准确率(Precision)=检索到的该类图像/检索到的所有图像数

查全率=召回率(Recall)=检索到的该类图像/数据库中所有的该类图像

二.MAP(Mean Average Precision)平均精度均值

MAP可以由它的三个部分来理解:P,AP,MAP

P(Precision)精度,正确率。在信息检索领域用的比较多,和正确率一块出现的是召回率Recall。对于一个查询,返回了一系列的文档,正确率指的是返回的结果中相关的文档占的比例,而召回率则是返回结果中相关文档占所有相关文档的比例。相关概念如上。

MAP(Mean Average Precision):单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。 MAP 是反映系统在全部相关文档上性能的单值指标。系统检索出来的相关文档越靠前(rank 越高),MAP就可能越高。如果系统没有返回相关文档,则准确率默认为0。

对一个搜索引擎或推荐系统而言返回的结果必然是有序的,而且越相关的文档排的越靠前越好,于是有了AP的概念。对一个有序的列表,计算AP的时候要先求出每个位置上的precision,然后对所有的位置的precision再做个average。

多类别识别中,每类物体都可以根据查全率和查准率画出一条曲线,AP就是该曲线下的面积,mAP就是多类别的AP面积的平均值。


例1:假设有两个主题,主题1有4个相关网页,主题2有5个相关网页。

某系统对于主题1检索出4个相关网页,其rank分别为1, 2, 4, 7;对于主题2检索出3个相关网页,其rank分别为1,3,5。

对于主题1,平均准确率为(1/1+2/2+3/4+4/7)/4=0.83。

对于主题 2,平均准确率为(1/1+2/3+3/5+0+0)/5=0.45。则MAP= (0.83+0.45)/2=0.64。

例2:分析图为主题1有五个相关,主题2有三个相关。主题一rank为1,3,6,9,10,主题二rank为2,5,7.

1/1,2/3,3/6,4/9,5/10

1/2,2/5,3/7

例3:

若该位置返回的结果相关,计算该位置的正确率,若不相关,正确率置为0。若返回的这四个的相关文档排在1,2,3,4号位,则对于的正确率都为1,AP也就等于1,可见计算方法是对排序位置敏感的,相关文档排序的位置越靠前,检出的相关文档越多,AP值越大。

例4:

比如一个数据库,男5人,女5人

系统1搜索女,结果排序如下:

1 女

2 男

3 男

4 男

5 女

6 女

7 女

系统2 搜索女,结果排序如下:

1 女

2 女

3 女

4 女

5 男

6 男

7 男

对于系统1:
查全率=系统检索到的相关文件 / 系统所有相关的文件总数=4/5
准确率=系统检索到的相关文件 / 系统所有检索到的文件总数=4/7
mAP=(1/1+2/5+3/6+4/7)/5
对于系统2:
查全率=系统检索到的相关文件 / 系统所有相关的文件总数=4/5
准确率=系统检索到的相关文件 / 系统所有检索到的文件总数=4/7
mAP=(1/1+2/2+3/3+4/4)/5

结论:系统1和系统2,查全率和准确率相同,此时用mAP来衡量系统好坏,更加有效。

猜你喜欢

转载自blog.csdn.net/weixin_41847115/article/details/84547133
今日推荐