阿里版 ChatGPT 官宣!我们用 16 个提问,火速进行了测评……

ab4b95f0538222913ab2b69b0e8ffb84.gif

整理 | 郑丽媛

出品 | CSDN(ID:CSDNnews)

平地一声雷!今天中午阿里版类 ChatGPT 「通义千问」突然官宣:

39e7a0db8d0eb9d4500e0b708ff1d486.png

没错,就这 3 行简短介绍 + 1 个官网地址,再无其他“剧透”。

好在,CSDN 有幸拿到了「通义千问」的第一批内测邀请码!既能第一时间体验这神秘的「通义千问」,那就让我们一同看看:这个阿里版 ChatGPT,它的水平究竟如何?

ac9724fe202cf48934e52662d9093192.png

自我介绍

首先,让「通义千问」来个官方的自我介绍:介绍一下你自己吧。

6e99ee690f93012d1d776ed2bed374c3.png

相信许多人都好奇「通义千问」的优势何在,那就让它自己回答:你与其他大规模语言模型相比,有什么优点?

a64d6b4dbd68e90603e659fa4a73dfae.png

有了初步了解后,那么接下来就让我们步入正题:围绕文学创作、数理逻辑推算、中文理解、代码生成这四个角度,实测「通义千问」的对话水平。(注:因同是“国产版 ChatGPT”,所以本次部分提问内容也参考了上次评测「文心一言」的题目。)

推荐阅读:《文心一言 vs ChatGPT!相同 10 问,结果出乎意料》

34d1a2c1f7f5ab14c35ab5cb05f2b211.png

代码生成

ChatGPT 能成为程序员的“辅助神器”,并成功“出圈”的最主要原因之一就是其出色的代码生成能力。因而,本次对「通义千问」的测评我们也先从这方面开始。

先来个简单的:用 Python 实现冒泡排序。

92f92c586853759625b622aede401001.png

提问:请写代码解决"把 abcd...s 共 19 个字母组成的序列重复拼接 106 次,得到长度为 2014 的串。

8f7a98b8c2e7b8b3c7260cd3edd62645.png

接着:使用函数递归的方法打印斐波那契数列的前 n 个数:0 1 1 2 3 5 8 13 21 34 ……, 找出正确的选项。

84df07d6b461f4ab8d11b23f6e8e3c0b.png

再提问:请写一个使用逻辑回归模型判断用户更喜欢通义千问还是 ChatGPT 的训练代码。

9af65bba158b8a198723abc84a0aa97d.png

8bba236704bd23a3823739955bbd33a4.png

8e898e16debeba4410686e993c100e93.png

继续:请用 C 语言,使用动态分配内存的方式,模拟 C++ 中 Vector 容器,实现动态数组的构建。

168cb336b4fc8da8eaea4b5d15ead54b.png

ff3f66305e39e34c55612f8de7b6588e.png

英文提问:“Using Python to Define a class named Vector to simulate the C++ Vector container and implement dynamic array construction using dynamic memory allocation.”

746a5c42abddc5cb87adee8aaba57aaf.png

对于以上「通义千问」生成的代码,我们咨询了 CSDN-AI 团队研发总监进行评价:

“阿里云的模型对于随机抽取的常见代码片需求,基本能理解需求,生成合适的代码。能区分生成代码对指定语言的需求。能区分中英文问题输入。简单的冒泡排序和领域特定的逻辑回归代码,都能生成合适的代码,总体表现不错。在理解代码需求的推理能力上,则还有待加强(那个字母的题)。”

55591b298231decb75c600be00894904.png

文学创作

提问:龟兔赛跑的结局是什么?如果要续写这个故事,可以有哪些角度? 

1f151319d4c71b9ef3e17d8b4b75b621.png

从「通义千问」给出的回答来看,它能正确给出简单故事的结局,对于续写角度的建议也较为全面。

99b9c4da4b20f3b144aa9815d0f27483.png

数理逻辑推算

提问:一个笼子里有 9 个头,30 只脚,应有多少只鸡,多少只免子?

ceb4c8bf8f8e23c3c295a0229b4d12d0.png

面对经典的鸡兔同笼问题,「通义千问」在得出正确答案的同时,解答过程言简意赅。

提问:7 年前,妈妈年龄是儿子的 6 倍,儿子今年 12 岁,妈妈今年多少岁?

2a19bc1e197bedf3c5f39716ebd9756d.png

解答这道小学奥数应用题,「通义千问」的表现也可圈可点。

提问:某厂一车间有 64 人,二车间有 56 人,现因工作需要,要求第一车间人数是第二车间人数的一半,问需从第一车间调多少人到第二车间?(列方程解答)

6bfc3280167a81b990035b9d0fd3b236.png

不过,对于这道上次「文心一言」没答出的初中数学应用题,「通义千问」也出了点问题:方程是列了,但少了个将 56+x 括在一起的括号。看来在较为复杂的逻辑推算上,“国产版 ChatGPT”还有待加强。

ccf685b932460fc746c3d9873b68b859.png

中文理解

提问:“洛阳纸贵”具体是什么意思?

06a426f06e4f5ef7ec1ff6b092ae6fe7.png

提问:京剧中的生、 旦 、净、丑分别指什么?

4b585d1c74f1b11618ba004638d51517.png

在中文理解上,「通义千问」的回答虽然比较简短,但大体是正确的。

1009ab5c3cdfdb23ccc557063d90d4d5.png

再闲聊一会儿

与上次测评「文心一言」一样,最后我们也来看看「通义千问」的闲聊水平如何。

提问:我有点饿,请你推荐一道成本低于 30 元(人民币)的菜及其做法?

421edfa82fa290230f7d9f986cac0c01.png

很好很贴心,连食材单位都很详细,手残党必备。

提问:你的出现会对程序员产生什么影响?是否会取代一部分程序员?

02aa336995cb324dfa23ca5bbe485b4f.png

与 「文心一言」和 ChatGPT 相似,「通义千问」对于这个问题的解答也很客观中立。

至此,本次 CSDN 对于「通义千问」的测试就到此结束了。那么通过这些 Q&A,你对这个阿里版类 ChatGPT「通义千问」的评价如何呢?

75eb08b0fb427727f8def543e5ac8ad2.gif238351a4973e3f41d5fbf88c41ee1838.jpeg

猜你喜欢

转载自blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/130073039