玩转大模型!在GPU云平台部署ChatGLM-6B

大模型技术发展如火如荼,国内外已经出现不少优秀开源项目,其中国内清华大学开源的ChatGLM-6B广受关注。

师出名门,未来可期

ChatGLM-6B是一个基于GLM的生成式对话模型。由清华大学团队开发,旨在改进对话机器人的生成质量和逻辑。ChatGLM-6B采用了全新的训练方法,在其开源的模型中已经在大规模数据集上进行了训练,用户可体验高质量的对话机器人,也可以对其在用户自有数据集上微调,得到自己专属的大模型。

项目链接:https://github.com/THUDM/ChatGLM-6B

对于在做AIGC、大模型应用的用户,ChatGLM-6B是非常值得深入研究的项目。

ChatGLM-6B有何优势

生成质量高:对话更加自然、流畅,提供了更好的用户体验。

对话逻辑强:ChatGLM-6B能更好地理解上下文,生成有逻辑性、连贯的回复。

开源:相对于商业应用ChatGPT,研究者和开发者可以自由地使用、修改和分发模型和代码。推动相关研究和应用。

在趋动云上部署ChatGLM-6B的优势

无需担心下载问题:趋动云上已经有小伙伴将十几G的ChatGLM-6B模型上传了,省却了大家下载的时间,一键勾选,即可使用。

硬件强大,多种型号可选:大模型对于内存、显存的要求比较高,普通用户很难有几十G的内存和显存。趋动云上有多种型号机型可选,内存最高可达几百G,单卡显存从6G到80G,方便根据需要自由选择,同时用户可以很方便的调用多GPU能力。

软件和环境配置简单:无需担心软件安装和版本不兼容,趋动云内置不同框架的多种不同版本的系统镜像,支持用户保存自定义镜像,满足大多数用户使用的同时,也方便大家针对自己的需要进行软件配置。

手把手教程:趋动云部署ChatGLM-6B

创建项目,配置PyTorch 2镜像:

创建一个新项目后,添加PyTorch 2 镜像,c1946526964bb02f1e0aaa95a9846ca9.png

添加ChatGLM-6B模型:

在添加数据这一步,选择chatglm-6b-230726模型,11G的模型文件就可以在项目中直接使用了

52110e67ac860cfebeb8f2f5ef5f091a.png

请注意添加后,该模型文件,所在的目录为/gemini/data-1,在后续设置中需要使用(在Python代码中填写模型路径)。

此时即可点击创建项目了,选择先不上传代码,待会从github上下载:

8852c533f7e3f45e06893b30f5b3abd2.png

创建好之后,进入项目界面,现在我们选择运行代码:

09873d6ed972cfc715977f1ecda570a0.png

而后系统会要求我们选择机型,算力君选择了s2.large,显存24GB,内存48GB,此时为了支持外网访问,我们开放一个端口(后续设置要使用):

8112f862c4946fc57a112d25878d3175.png

而后等待系统分配机器:

730a9c63888c380fa32f2e90e9606f67.png

系统分配完机器后,我们点击进入开发环境,在这里我们可以使用命令行也可以使用JupyterLab进行开发,在命令行依次输入:

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
python3 -m pip install --upgrade pip
git clone https://github.com/THUDM/ChatGLM2-6B
cd ChatGLM2-6B
pip install -r requirements.txt
a5c92b1a9ec74daa8f7c2343fcecb089.png

然后切换到JuperLab下修改web_demo.py代码,将THUDM/ChatGLM2-6B改为/gemini/data-1:

80a032b204d49dcd6e5f9ea965822074.png

将最后一行改为

demo.queue().launch(share=True, server_port=15432,inbrowser=True)
cd96e8e04c9ec61df8bc1ae2ab145dce.png

server_port 是刚才设置的端口号。

设置完保存就好了,此时一切都已经就绪了。

最后在命令行下输入

python web_demo.py
2dcba78fd2509abc3dd52266aae8445a.png

系统就已经部署成功了。

将上图中圈出来的网址拷贝到浏览器即可体验ChatGLM2-6B大模型的魔力了!

先问两个常识问题看看:

cb8558f87338ad86109eac74b08784a4.jpeg

回答的还可以。

再考验一下它的总结能力:

9b9afcd68e4916c1b02a1c21568bf1ae.png

找了一篇论文的摘要,总结结果有稍许不太准确,但大致意思是对的。

再看看它的数学推理怎么样:

f1a7e83b0beb488690f35550a8783c7e.png

对这些简单的问题表现还不错。

欢迎大家到趋动云GPU平台亲自体验一把ChatGLM2-6B的部署,对于熟悉趋动云后台的小伙伴,应该不超过5分钟就能跑起来。

也期待更多从事大模型研究的小伙伴使用趋动云,做出更有影响力的工作!

趋动云

连接算力・连接人

注册即可获得 168 元体验金!https://growthdata.virtaicloud.com/t/Va

28f458763457266de2136a06e74aa7ca.png

更多福利,扫码添加小助手 邀你入群~

扫码注册趋动云账号 并关注趋动云服务号  即可另外额外赠送 10 元算力金

509e01909fb9867e501f4d6640383af7.png

请注册后联系小助手,立即领取

▼HOT

趋动云火热注册中!点击“阅读原文”即可尝鲜~

猜你喜欢

转载自blog.csdn.net/moxibingdao/article/details/132550984
今日推荐