Kaggle大赛第一名被曝作弊!预测模型中混淆真实答案

这年头学术造假早已不新鲜,什么期刊师母文、父子文、P图造数据,这些科技含量都太低了。但让小编万万没想到的是,在技术壁垒相对较高的AI竞赛上竟然也曝出了作弊事件。作弊团队还借此获得了kaggle大赛的第一名,赢得了1w美元的奖励,真是用实力印证了“有考试的地方就有作弊”这句话!

Kaggle大赛第一名被曝作弊!预测模型中混淆真实答案


七天前,Kaggle平台的一项竞赛[PetFinder.my]在其主页上发布了一个通告,宣布取消第一名的成绩。语气用词之强烈也是闻所未闻,足见这次主办方的心被伤的透透了!

通知

亲爱的参赛者们,

我们宣布,第一名团队Bestpetting已被取消作弊资格。作弊者Kaggle Grandmaster也已被永久禁止在该平台上参赛,因为有证据表明他是该欺诈活动背后的关键方。

这是Bestpetting团队在PetFinder.my竞赛中干的事情:

他们以作弊的方式获得了私有测试数据的领养速度答案(可能是从主办方 PetFinder.my 的网站抓取);

然后他们将这些数据和答案进行编码,混淆到一个 ID 字段中,该 ID 字段伪装成来自「cute-cats-and-dogs-from-pixabaycom」的外部数据集的一部分;

在处理数据时,他们对这些混进来的 ID 字段进行解码,答案在预测阶段可以被检索到;最后,他们仅使用一些经过编码的答案,以使最终分数看起来更加「真实」;

这些处理过的代码被经过精心隐藏和混淆在许多嵌套函数和代码层下,故意将其设计为高度不可读且看似普通的样子。

(简单来说就是团队先通过特殊渠道预先获取了测试集的答案,然后使用了其中的一部分进行编码,比赛时再对其解码,最终把这标准答案作为自己的比赛「战果」,从而取得「优异成绩」......小孩子不要模仿)

Kaggle大赛第一名被曝作弊!预测模型中混淆真实答案

这项欺诈活动是由本杰明·米克斯霍夫(Benjamin Minixhofer)发现的,他是「PetFinder.my」比赛的第六名。一直与我们的团队紧密合作以实施获奖的解决方案。违规行为已报告给Kaggle,Kaggle进行了深入调查并采取了相应行动。

不幸的是,奖金已经支出并且无法收回。Kaggle相应地修改了排行榜,并向参与者授予了相关的分数/奖牌。

如此可敬的人们,包括一个受人尊敬的Kaggle Grandmaster(kaggle大赛最高级别选手称号),竟竭尽全力欺骗一场旨在挽救珍贵动物生命的福利竞赛,仅仅为了他们自己的经济利益,这的确使我们感到非常可悲。

Kaggle大赛第一名被曝作弊!预测模型中混淆真实答案

我们为发现这个问题为时已晚表示诚挚的歉意,因为这是我们第一次组织此类AI竞赛,并且真的没有想到会有这种不道德和不负责任的行为。

但是,不要让这种败类破坏这个令人惊叹的社区的声誉。我们非常感谢Kaggle和所有人的慷慨支持,并将继续努力,根据获奖的解决方案实施AI工具。

如果您有兴趣加入我们的志愿者AI工作组来实施解决方案和AI工具以帮助全球避难所和救援人员,请保持联系,因为我们很乐意让您加入。

对于当之无愧的获胜者,恭喜您获得更高的排行榜排名!

再次感谢您,我们将及时通知您最新进展。

赛事介绍

当你看到这场赛事的来由之后,可能就明白主办方为什么这么大动肝火了!这场比赛是由马来西亚宠物福利平台「PetFinder.my」举办的以拯救动物生命为目的的公益性比赛。平台拥有超过 15 万只动物的数据库,与动物爱好者、媒体、企业等合作,以改善动物福利。

Kaggle大赛第一名被曝作弊!预测模型中混淆真实答案

预测宠物被领养速度,成为 kaggle 的热门赛事
该比赛的参赛者开发的算法,会被用来预测宠物的领养速度。因为研究表明,宠物被领养的速度与它们在网上在线档案中的照片、描述等元数据密切相关。参赛者的任务就是找出这种相关性,帮助宠物领养机构优化宠物的电子档案,使其看上去更加有吸引力,从而提高被领养的速度,减少「安乐死」的数量。
比赛时间:该比赛于 2019 年 3 月 21 日截止报名,3 月 28 日为提交参赛作品截止日期。最终成绩于 2019 年 4 月 9 日公布。
比赛规模:比赛最终共有 2000 个团队参加,但只有前五名获得了奖金。从第一名到第五名的奖金金额分别为 1 万美元,7000 美元,5000 美元,2000 美元和 1000 美元。

后续

那么,这位天才级作弊大师Pavel Pleskov 又是何方神圣呢。来自俄罗斯的这位汉子在机器学习竞赛里可是宗师级的高手。此前,他就因成为 Grandmaster而被 kaggle 采访,YouTube 上的主题为「如何成为 Kaggle Grandmaster」的演讲视频有着超过 2 万次的观看记录。

Kaggle大赛第一名被曝作弊!预测模型中混淆真实答案

事后,Pavel Pleskov 在第一时间站出来道歉,认错态度还挺诚恳,他还表示团队会尽快退还奖金。他说:「对我而言,这与金钱无关,而与 kaggle 积分有关,不断成为第一的刺激已经让我失去了判断力。」

Kaggle大赛第一名被曝作弊!预测模型中混淆真实答案

只是小编觉得:这么驾轻就熟的操作,显然不是第一次啊......PS: 后续更多学习资料免费分享!
敬请期待~会议之眼现已推出小程序

会议之眼plus

查计算机会议信息的一站式工具。会议截稿日期、召开信息、会议等级、您想要的信息这里都有!还等什么,快来体验吧~

Kaggle大赛第一名被曝作弊!预测模型中混淆真实答案

往期精彩文章回顾:

重磅福利!ICCV 2019全部论文合集共1075篇!会议信息全收录!

IJCAI 2019最全论文合集964篇!关注人工智能的你快收藏吧!

查计算机会议信息一站式工具:截稿、召开、会议等级全都有!

会议之眼发布《会议之眼推荐计算机国际学术会议列表》

CCF所有领域best paper合集!发顶会论文必看!

毕业拿华为百万年薪的人,投稿哪些会议?

近万人参与的CVPR2019全纪录 | 含优秀论文解读、全部论文下载

发布了42 篇原创文章 · 获赞 2 · 访问量 5555

猜你喜欢

转载自blog.csdn.net/ConferenceEye/article/details/104040564