ChatGPT开源平替--ChatGLM

ChatGLM(alpha内测版:QAGLM)是由清华大学开源的一个初具问答和对话功能的中英双语模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

什么意思呢,意味着只要你有一台6GB显存的电脑,你就可以拥有一个自己的对话机器人!官方也提供了一个基于 Gradio 的网页版 Demo 和一个命令行 Demo。

c18249758950ed7a99e63d4a8a8411b2.png

怎么使用,看下面:

使用时首先需要下载仓库:

git clone https://github.com/THUDM/ChatGLM-6B
cd ChatGLM-6B

首先安装 Gradio:pip install gradio,然后运行仓库中的 web_demo.py:

python web_demo.py

程序会运行一个 Web Server,并输出地址。在浏览器中打开输出的地址即可使用。最新版 Demo 实现了打字机效果,速度体验大大提升。

如果你没有 GPU 硬件的话,也可以在 CPU 上进行推理,但是推理速度会更慢。使用方法如下(需要大概 32GB 内存)

接下来看看官方示例:

自我认知

561fee51ed5d07f4a66ca9852db2d7b3.png

提纲写作

ca3523a6f542a4b13d15ef02a3771838.png

文案写作

9cb51fa9f1a8f5c6f17b39bbe0704afd.png

旅游向

da70c6b56f13d4c71315fd37fa81bebe.png


猜你喜欢

转载自blog.csdn.net/djstavaV/article/details/130023605