Centos7.9 离线部署ChatGLM-6B

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

部署前提条件

CUDA Version 11.0，内存32G或者显卡内存8G+8G机器内存及以上

一·Anaconda下载

二·Anaconda安装

1.执行如下指令，安装anaconda

# 进入当保存文件的目录，执行此指令， 后期由于版本更新，可能会与此文件命名有所不同
sh Anaconda3-2023.03-1-Linux-x86_64.sh

2.按照安装提示，键入回车，

Please, press ENTER  to continue
>>> ENTER

3.安装此版本时，会强制用户看完整个协议，直接一路回车就行，直到看到确认信息

# 输入yes，表示同意安装协议

Do you accept the license terms? [yes|no][no] 
>>> yes

4.确认安装路径(可修改，也可以使用自定义)

5. 初始化时，anaconda将配置写入了~/.bashrc 文件，直接执行

source ~/.bashrc

 

6. 创建项目运行虚拟环境

conda create -n chatglm --clone base
conda env list
conda activate chatglm

 

7. 安装git

yum install git -y

8. 下载chatGLM源码

git clone https://github.com/THUDM/ChatGLM2-6B
cd ChatGLM2-6B

9. 安装依赖

然后使用 pip 安装依赖：pip install -r requirements.txt，其中transformers库版本推荐为4.30.2，torch推荐使用 2.0 以上的版本，以获得最佳的推理性能。安装时出现超时问题，请指定pip安装源

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install streamlit streamlit-chat -i https://pypi.tuna.tsinghua.edu.cn/simple

 

缺包

pip install pyqt5==5.15  -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install pyqtwebengine==5.15 -i https://pypi.tuna.tsinghua.edu.cn/simple

模型下载地址:

THUDM/chatglm2-6b · Hugging Face

 10. 修改web_demo2.py文件

11. 开启外网访问

streamlit run web_demo2.py

 指定IP端口使用如下：

python3 -m streamlit run ./web_demo2.py --server.port 8000 --server.address 0.0.0.0

 原材料来自：solidui