进NLP群—>加入NLP交流群
夕小瑶科技说 原创
作者 | 卖萌酱
最近几天，我们公众号的社群在纷纷转发一张名为SuperClue 评测的截图。科大讯飞甚至在官号进行了宣传：
由于讯飞星火大模型刚发布，笔者玩的少，它是不是真的是国产最强这个笔者不敢下结论。
但在该评测截图中，当下国产模型中热度最高的百度文心一言竟然连一个小型的学术开源模型ChatGLM-6B都打不过。这不仅与笔者自己的使用体验严重不符，而且在我们的专业NLP技术社群中，大家也纷纷表示一脸懵逼：
好奇之下，笔者去这个superclue榜单的github，想看看这个测评结论是怎么得出来的：
https://github.com/CLUEbenchmark/SuperCLUE
首先笔者注意到这个repo下面已经有一些issue了：
看起来这个离谱的感觉不仅仅是笔者有，果然群众的眼睛还是雪亮的。。。
笔者进一步看了一下这个榜单的评测方式：
好家伙，原来所谓的生成式大模型的测试，竟然全都是让模型做选择题。。。
很明显这种做选择题的评测方式是针对BERT时代的判别式AI模型的，那时候的AI模型普遍不具备生成能力，仅仅有判别能力（比如能判别一段文本属于什么类别，选项中哪个是问题的正确答案，判断两段文本的语义是否一致等）。
而生成式模型的评测与判别式模型的评测有相当于大的差异。
例如，对于机器翻译这种特殊的生成任务而言，一般采用BLEU等评价指标来检测模型生成的回复与参考回复之间的“词汇、短语覆盖度”。但机器翻译这种有参考回复的生成类任务是极少数，绝大多数的生成类评测都要采用人工评测的方式。
例如闲聊式对话生成、文本风格迁移、篇章生成、标题生成、文本摘要等生成任务，都需要各个待评测模型去自由生成回复，然后人工去对比这些不同模型生成的回复的质量，或人工判断是否满足了任务需求。
当前这一轮的AI竞争，是模型生成能力的竞争，而不是模型判别能力的竞争。最有评价权的是真实的用户口碑，不再是一个个冰冷的学术榜单。更何况是一个压根没测模型生成能力的榜单。
回想起来前些年——
2019年，OpenAI发布了GPT-2的时候，我们在堆tricks刷榜；
2020年，OpenAI发布了GPT-3的时候，我们在堆tricks刷榜；
2021-2022年，FLAN、T0、InstructGPT等instruction tuning和RLHF工作爆发的时候，我们还有不少团队在坚持堆tricks刷榜…
希望这一波生成式模型的军备竞赛，我们不要再重蹈覆辙。
那么生成式AI模型到底应该怎么测？
很抱歉，我前面说过，如果想做到无偏测试，非常非常的难，甚至比你自研一个生成式模型出来难得多。难度有哪些？具体抛几个问题：
评测维度该如何划分？按理解、记忆、推理、表达？按专业领域？还是将传统的NLP生成式评测任务杂揉起来？
评测人员如何培训？对于写代码、debug、数学推导、金融法律医疗问答这种专业门槛极高的测试题，该如何招募人员测试？
主观性极高的测试题（如生成小红书风格的文案），该如何定义评测标准？
问几个泛泛的写作类问题就能代表一个模型的文本生成/写作能力了吗？
考察模型的文本生成子能力，篇章生成、问答生成、翻译、摘要、风格迁移都覆盖到了吗？各个任务的占比均匀吗？评判标准都清晰吗？统计显著吗？
在上面的问答生成子任务里，科学、医疗、汽车、母婴、金融、工程、政治、军事、娱乐等各个垂类都覆盖到了吗？占比均匀吗？
如何测评对话能力？对话的一致性、多样性、话题深度、人格化分别怎么设计的考察任务？
对于同一项能力测试，简单问题、中等难度问题和复杂长冷问题都覆盖到了吗？如何界定？分别占比多少？
这只是随手抛的几个要解决的基础问题，在实际基准设计的过程中，要面临大量比以上问题棘手得多的问题。
因此，作为AI从业者，笔者呼吁大家理性看待各类AI模型排名。连一个无偏的测试基准都没有出现，要这排名有何用？
还是那句话，一个生成式模型好不好，真实用户说了算。
一个模型在一个榜单的排名再高，它解决不好你在意的问题，它对你来说就是个一般般的模型。换言之，一个排名倒数的模型，如果在你关注的场景下发现非常强，那它对你来说就是个宝藏模型。
在此，笔者公开了我们团队内部富集和撰写的一个hard case（困难样例）测试集。这份测试集重点关注模型对困难问题/指令的解决能力。
这个困难测试集重点考察了模型的语言理解、复杂指令理解与遵循、文本生成、复杂内容生成、多轮对话、矛盾检测、常识推理、数学推理、反事实推理、危害信息识别、法律伦理意识、中国文学知识、跨语言能力和代码能力等。
再次强调一遍，这是笔者团队为测试生成式模型对困难样例解决能力而做的一个case集，评测结果只能代表“对笔者团队而言，哪个模型感觉更好”，远远不能代表一个无偏的测试结论，如果想要无偏的测试结论，请先解答以上提到的测评问题，再去定义权威测试基准。
想要自己评测验证的小伙伴，可以在本公众号“夕小瑶科技说”后台回复【AI评测】口令来下载测试文件
以下是在superclue榜单中受争议最大的讯飞星火、文心一言与ChatGPT这三个模型的测评结果：
困难Case解决率：
ChatGPT（GPT-3.5-turbo）：11/24=45.83%
文心一言（2023.5.10版本）：13/24=54.16%
讯飞星火（2023.5.10版本）：7/24=29.16%
这是要论证讯飞星火不如文心一言吗？如果你仔细看前文了，就明白笔者想说什么。
确实，尽管在这份我们内部的困难case集上，星火模型不如文心一言，但这不能说明综合起来谁一定比谁强，仅仅说明，在我们团队内部的困难case测试集上，文心一言表现最强，甚至比ChatGPT多解决了2个困难case。
对于简单问题而言，其实国产模型跟ChatGPT已经没有太大差距。而对于困难问题而言，各个模型各有所长。就笔者团队的综合使用体验来看，文心一言完全足以吊打ChatGLM-6B等学术测试性质的开源模型，部分能力上不如ChatGPT，部分能力上又超越了ChatGPT。
阿里通义千问、讯飞星火等其他大厂出品的国产模型也是相同的道理。
还是那句话，如今连一个无偏的测试基准都没出现，你要那模型排名有啥用？
比起争论各类有偏的榜单排名，不如像笔者团队一样去做一个自己关心的测试集。
能解决你问题的模型，就是好模型。
进NLP群—>加入NLP交流群