谷歌Bard_VS_Baize-7B_VS_文心一言体验对比

2023年4月4日,来自加州大学圣迭戈分校、中山大学和微软亚研的研究者提出了Baize,该模型是让ChatGPT 自我对话,批量生成高质量多轮对话数据集,利用该数据集对LLaMA进行微调得到的(目前版本还没有RLHF)

关于Baize的详细介绍可以参考:https://mp.weixin.qq.com/s/zxElGfclNbBwTuDG4Qrxnw

  • 论文题目:Baize: An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data

  • 论文链接:https://arxiv.org/abs/2304.01196

  • Github:https://github.com/project-baize/baize/blob/main/README.md

  • 在线 Demo:https://huggingface.co/spaces/project-baize/baize-lora-7B

之前对LLM模型进行了相关的体验对比,感兴趣的可以阅读如下列表:

谷歌Bard_VS_百度文心一言

Bard vs. Bing vs. ChatGPT效果对比

文心一言 VS ChatGLM-6B对比

GPT4 VS ChatGPT,优劣势对比

下面使用Huggingface的在线demo进行体验,并且与谷歌Bard进行对比:

Note:体验的Prompt来自谷歌Bard_VS_百度文心一言

下面从ChatGLM-6B的六大方面进行测试对比

自我认知

Bard

文心一言

Baize-7B

结论:上述三个模型都有基本的自我认知

提纲写作

Bard

文心一言

Baize-7B

结论:Bard和文心一言给出了大纲的列表;而Baize-7B做了简单介绍,最后列出了NLP的相关任务;Baize-7B明显不如Bard和文心一言

文案写作

Bard

文心一言

Baize-7B

结论:Bard和文心一言都生成了一段文案,而Baize-7B只是把关键词split出来了;在生成新闻方面Baize-7B也弱于Bard和文心一言,并没有生成10个新闻,而是6个

邮件写作助手

Bard

文心一言

Baize-7B

结论:Baize-7B生成的邮件内容较短

信息抽取

Bard

文心一言

Baize-7B

结论:Bard的表现是最好的,提取信息最全,其他两个模型只提取了部分信息

角色扮演

Bard

文心一言

Baize-7B

结论:角色扮演方面Bard表现较好,而文心一言和Baize-7B几乎没有这样的能力

评论比较

Bard

文心一言

Baize-7B

结论:文心一言拒绝回答这样的问题,而Bard和Baize-7B都给出了自己的看法;

旅游向导

Bard

文心一言

Baize-7B

结论:在旅游推荐方面,上述三个模型都给出了答案,但是Baize-7B的答案没有换行,缺少条例性

猜你喜欢

转载自blog.csdn.net/wshzd/article/details/130847234
今日推荐