测试一下阿里通义千问-7B-Chat的性能

0. 背景

为了了解一下阿里通义千问-7B-Chat的性能，出了几个问题测试一下。

1. 实际测试结果(截图)

示例代码，

import os
import openai

from dotenv import load_dotenv, find_dotenv
_ = load_dotenv(find_dotenv()) # read local .env file
openai.api_key = 'sk-1234567890abcdefghijklmnopqrstuvwxyz1234567890DL'
openai.api_base = 'http://localhost:8000/v1'

openai.api_base = 'http://localhost:8000/v1'
def get_completion(prompt, model="gpt-3.5-turbo"):
    messages = [{"role": "user", "content": prompt}]
    response = openai.ChatCompletion.create(
        model=model,
        messages=messages,
        temperature=0,
    )
    return response.choices[0].message["content"]

开始测试，

get_completion("你是谁?")

输出如下，

示例代码，

get_completion("世界上第二高的山峰是哪座")

输出如下，

示例代码，

get_completion("鲁迅和周树人是什么关系?")

输出如下，

示例代码，

get_completion("一个球和一个球棒的总价是11美元，球棒比球贵10美元，球的价格是多少？")

输出如下，

这个答案是错误的，正确答案是0.5美元。

我们追加一些提示词，示例代码，

get_completion("请仔细思考，一步一步计算下面的数学题，最后在做验证。一个球和一个球棒的总价是11美元，球棒比球贵10美元，球的价格是多少？")

输出结果如下，

这个答案是正确的。

完结！