前情提要
这一个月来干了啥事情呢？AI 绘画搞了2周左右，SD 建筑绘图，训练 LORA ，模型控制基本也上手了，可以按照预期生成自己想要的东西，那种控制感是挺开心的，不然你输入一句话生成 AI 图片完全凭天意，这叫无效沟通好不啦；突发奇想要搞 AI 歌曲合成，为了不引发版权诉讼问题，用自己的声音合成了些歌曲，因为不是在录音棚录音的，并且声音数据比较少，所以训练效果还是有点差强人意，不过相较我自己唱的而言已经好到天上去了；AI 语言的实践完成以后，我又开始对 AI 人工智能对话开始下手了，这个才是和大脑思考最接近的一项技术了，应用面也很广泛的，所以一定要搞下来。
那这些小玩意实践过之后，怎么玩呢，其实 AI 的话行业应用就两个层面了，一个是 AI 算法和应用，还有就是 AI 算力调度，因为去年参与过移动云的"东数西算"架构设计，AI 算力调度这块应该还好(去年算力资源真心浪费了)，算法逻辑那块勉强看下吧，况且老子下半年还有考试呢，不能在这上面浪费太多时间，最近两个月的周末都耗在这上面了，不能这么沉沦下去了。
搭建部署
环境信息
**
OS：Win11
GPU：3070-RTX 32G
PYTHON：3.10
**
| 量化等级 | 最低GPU(对话) | 最低GPU(微调) |
|---|---|---|
| FP16（标准） | 13GB | 14GB |
| INT8 | 8GB | 9GB |
| INT4 | 6GB | 7GB |
安装依赖
项目下载
# 下载
git clone https://github.com/THUDM/ChatGLM2-6B
# 安装相关依赖
cd ChatGLM2-6B
pip install -r requirements.txt -i https://pypi.douban.com/simple
模型下载
云盘链接：https://pan.baidu.com/s/1AIerQMpvw7yO34Gq9BFxAQ
提取码：5uzo
将下载的模型放到 THUDM 文件夹下:
显卡驱动
# 查看本机显卡信息
nvidia-smi
安装 cuda-toolkit 工具: https://developer.nvidia.com/cuda-toolkit-archive
备注: 选择不高于上述CUDA的版本,建议版本为 11.8;
** Pytorch 依赖**
# 下载对应版本的 Pytorch
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
** CUDA 校验**
# cuda 可用校验(返回 True 则表示可用)
python -c "import torch; print(torch.cuda.is_available());"
配置选择
** 精度选择 **
在 api.py cli_demo.py web_demo.py web_demo.py 等脚本中,命令如下：
# 模型默认以 FP16 精度加载，运行模型需要大概 13GB 显存
model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True).cuda()
# 如果 GPU 显存有限，按需修改，目前只支持 4/8 bit 量化
model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True).quantize(4).cuda()
# 如果内存不足，可以直接加载量化后的模型
model = AutoModel.from_pretrained("THUDM/chatglm2-6b-int4",trust_remote_code=True).cuda()
# 如果没有 GPU 硬件的话，也可以在 CPU 上进行对话，但是对话速度会很慢，需要32GB内存（量化模型需要5GB内存）
model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True).float()
# 如果内存不足，可以直接加载量化后的模型
model = AutoModel.from_pretrained("THUDM/chatglm2-6b-int4",trust_remote_code=True).float()
在 CPU 上运行量化后的模型，还需要安装 gcc 与 openmp。多数 Linux 发行版默认已安装。对于 Windows ，可在安装 TDM-GCC 时勾选 openmp。
启动运行
** 控制台 **
# 控制台运行
python cli_demo.py
** 网页版 **
# 方式一
python web_demo.py
# 方式二
# 安装 streamlit_chat 模块
pip install streamlit_chat -i https://pypi.douban.com/simple
streamlit run web_demo2.py
说明: 由于国内 Gradio 的网络访问较为缓慢，启用 demo.queue().launch(share=True, inbrowser=True) 时所有网络会经过 Gradio 服务器转发，导致打字机体验大幅下降，现在默认启动方式已经改为 share=False，如有需要公网访问的需求，可以重新修改为 share=True 启动。
** API **
# 安装 fastapi uvicorn 模块
pip install fastapi uvicorn -i https://pypi.douban.com/simple
# 运行 api
python api.py
默认部署在本地的 8000 端口，通过 POST 方法进行调用。
curl -X POST "http://127.0.0.1:8000" \
-H 'Content-Type: application/json' \
-d '{"prompt": "你好", "history": []}'
总结
附录
参考：https://juejin.cn/post/7250348861238870053