windows10下本地部署langChain-ChatGLM2-6B

最近在搞ChatGLM大语言模型,刚刚把langchain-ChatGLM2-6B在本地windows10跑起来,安装步骤如下:
设备配置:CPU E3-1240v3, RAM 32G, SSD 1T, GPU0 Nvidia 1080ti,GPU1 Nvidia T4
OS:Windows10专业版
安装步骤:
1.先安装Anaconda(https://www.anaconda.com/download/
2.点击“开始”-打开Anaconda Powershell Prompt
3.更新 Conda 至最新版本,
conda update conda

4.添加必要的 Conda 通道以获取更多软件包,
conda config --add channels conda-forge
conda config --add channels defaults

测试是否安装成功,
conda list
如果显示 Conda 及其内部包的列表,则说明安装成功。 

5. 创建虚拟环境
conda create -n langchain-chatglm python==3.10.9
conda activate langchain-chatglm
6. 部署 langchain-ChatGLM
md c:\ChatGLM
cd c:\ChatGLM
git clone https://github.com/imClumsyPanda/langchain-ChatGLM
cd langchain-ChatGLM
pip3 install -r requirements.txt
如果报错(一般都是传输超时),则重新运行几次

pip3 install -U gradio
pip3 install modelscope
pip3 install accelerate

7. 启动 langchain-ChatGLM2
python.exe ./webui.py --model-name chatglm2-6b

8. 访问 langchain-ChatGLM2
使用浏览器打开 http://localhost:7860/

遗留问题,默认webug.py没用gpu,纯cpu跑,速度非常慢。

猜你喜欢

转载自blog.csdn.net/qq_43335960/article/details/131085293