问题描述:通过鲸鱼尾识别鲸鱼的种类
数据介绍:鲸鱼尾的图像
评价方法:
将数据集中的图片通过算法来求出某个值根据 map @ 5来进行分类
其中U是图片的个数, P(k)是在阈值k下的精度,n是每个图像的预测数目,
rel(k)是一个指示函数,当k位置的是正确的类别,指示函数等于1,否则为零。
对于一张图片,一旦预测出来的第一个为正确的label,在计算会跳过这张图片的额外预测。例如,如果正确的标签是都是第一个,以下的预测都得到1.0的平均精度。
提交文件
对于测试集中的每一张图片,您最多可以预测5个鲸鱼的id。未被预测为训练数据中标签之一的鲸鱼应被标记为新鲸。该文件应包含一个标头并具有以下格式:
Map5 打分标准的解释
(https://www.kaggle.com/pestipeti/explanation-of-map5-scoring-metric)
精度: 正确预测的阳性样本占所有阳性样本的比值
Precision @k
阈值k 下的精度P(k) z只用rank1 到 k的预测值来计算,例如表格中x,为正确的,?为不正确的预测。
Precision @5 per image
本次比赛中的评分标准有点让人疑惑,根据(https://www.kaggle.com/c/humpback-whale-identification/discussion/73303)的讨论,在第一次出现正确的类别的时候会停止计算,并且P(1)=1.因此 correct incorrect incorrect incorrect incorrect ,这样的预测的精度为1.
所以我们不需要计算到5,只需要第一个是正确的预测,比赛中每张图片都只有一个正确的类别,因此每张图可能的精度为0,或者为P(k)=1/k。