map5 评价方法-鲸鱼比赛-kernel 解读1

问题描述:通过鲸鱼尾识别鲸鱼的种类

数据介绍:鲸鱼尾的图像

评价方法:

将数据集中的图片通过算法来求出某个值根据 map @ 5来进行分类

其中U是图片的个数, P(k)是在阈值k的精度,n是每个图像的预测数目

rel(k)是一个指示函数,当k位置的是正确的类别,指示函数等于1,否则为零。

对于一张图片,一旦预测出来的第一个为正确的label,在计算会跳过这张图片的额外预测。例如,如果正确的标签是都是第一个,以下的预测都得到1.0的平均精度。

提交文件

对于测试集中的每一张图片,您最多可以预测5鲸鱼id。未被预测为训练数据中标签之一的鲸鱼应被标记为新鲸。该文件应包含一个标头并具有以下格式:

 

Map5 打分标准的解释

(https://www.kaggle.com/pestipeti/explanation-of-map5-scoring-metric)

精度: 正确预测的阳性样本占所有阳性样本的比值

Precision @k

阈值k 下的精度P(k) z只用rank1 到 k的预测值来计算,例如表格中x,为正确的,?为不正确的预测。

Precision @5 per image

本次比赛中的评分标准有点让人疑惑,根据(https://www.kaggle.com/c/humpback-whale-identification/discussion/73303)的讨论,在第一次出现正确的类别的时候会停止计算,并且P(1)=1.因此 correct incorrect incorrect incorrect incorrect ,这样的预测的精度为1.

所以我们不需要计算到5,只需要第一个是正确的预测,比赛中每张图片都只有一个正确的类别,因此每张图可能的精度为0,或者为P(k)=1/k。

猜你喜欢

转载自blog.csdn.net/qq_16236875/article/details/88087969
今日推荐