ChatGLM2-6B安装详解(Windows/Linux)及遇到的问题解决办法

最近ChatGLM-6B发布了第二代ChatGLM2-6B,于是果断部署了一下试试水。下面讲解详细部署过程,并讲解部署时候遇到的问题以及解决办法。

一、部署过程

1. 安装python、git等必须工具

在要部署项目之前,需要部署必须的一些工具。下面详细讲解每一步所需的工具安装步骤。

1.1 安装python

对于如何安装python,网上有很多教程,这里只是简单讲解。

(1)通过安装anaconda、miniconda安装python

可以通过anaconda和miniconda安装虚拟环境的方式安装python,这种安装的好处就是可以切换不同python和各种三方包不同版本。

因为很多项目需要的版本不同,会导致项目无法运行,这时候用conda安装不同虚拟环境可以进行切换可以完美解决这种问题。(本人也是通过miniconda安装python的)。

这里给出anacondaminiconda的官方下载连接,大家根据自己系统和版本需求进行下载。

 anaconda和miniconda的安装步骤基本都是无脑下一步,环境变量那里要注意设置一下即可。

关于安装后如何进行配置,大家可以看如下入门教程:

Windows版                Linux版                MacOS版

(2)python官网下载文件进行安装

大家可以通过python官网python中文网进行下载

 

 也都是无脑安装,选择好安装路径和配置好环境变量就行。

(3)直接使用系统自带的python(不推荐)

个人不推荐使用系统自带的python,因为不能随便更改,改了还容易造成系统出错。

1.2 安装git

关于git如何安装,大可以看我之前写的一篇博客,可以点击这里进入。

里面详细讲解了不同版本的下载地址和git快速入门教程,可放心食用。

1.3 安装cuda

因为项目需要显卡,我们这里必须要安装cuda,我们需要根据自己安装的python和需要的torch版本安装不同cuda。

大家可以在命令行输入nvidia-smi查看自己cuda版本,安装的cuda不能超过上面的,但是可以低于这个版本,就比如我的CUDA Version是12.0,就不可以安装12.0以上的版本。

 大家根据自己的情况去下载安装

2. 用git克隆项目

使用下面命令克隆项目到自己想要装的目录

git clone https://github.com/THUDM/ChatGLM2-6B.git

这里一般不会有什么问题。

如果有问题,一般有如下情况:

(1)Windows系统则需要工具才行(DDDD);

(2)Linux系统一般都是代理的问题;

如果出现如下错误:

fatal: 无法访问 'https://github.com/xxx.git/':Failed to connect to 127.0.0.1 port 7891: 拒绝连接是什么原因

你需要做如下操作:

# 使用git config命令查询并取消http或https代理,例如:
git config --global http.proxy
git config --global --unset http.proxy
git config --global https.proxy
git config --global --unset https.proxy
# 使用env命令查询并取消http或https代理,例如:
env|grep -i proxy
unset http_proxy
unset https_proxy
# 修改系统环境变量,删除http_proxy和https_proxy变量。

3. 下载模型

下载模型前,先进入项目目录:

cd ChatGLM2-6B

然后再项目目录下新建THUDM文件夹,再在THUDM文件夹下新建chatglm2-6b文件夹,目录结构是这样的:

然后去huggingface将所有模型文件和配置文件全部放入.../ChatGLM2-6B/THUDM/chatglm2-6b文件夹中。建议全部手动下载放入。

4. 安装虚拟环境

 因为我这里用的是miniconda。安装anaconda和我这里是一样的安装方式。

安装虚拟环境上面有各种系统的详细说明,这里就不说明了。

安装虚拟环境的命令为(我这里以我的为示例):

conda create -n webui python=3.10.10 -y

其中-n webui为创建的虚拟环境,python=之后输入自己想要的python版本,-y表示后面的请求全部为yes,这样就不用自己每次手动输入yes了。

安装完虚拟环境后,我们需要进入虚拟环境。

输入conda env list可以查看当前有哪些虚拟环境。比如我刚刚安装的webui。

 然后输入conda activate webui就可以看到前面base变为webui了。

 最后,就是创建当前项目下的虚拟环境了,使用如下命令:

python -m venv venv

这里第一个venv表示使用venv模块来创建虚拟环境,第二个venv表示在当前目录下新建venv文件夹来作为当前的虚拟环境安装路径,第二个名字可以随自己随便写,不过一般都是venv文件夹。创建完成后可以看见当前目录下面有一个venv目录了。

 然后使用激活就可以使用当前的虚拟环境了,Linux系统使用source ./venv/bin/activate命令即可,Windows则直接双击./venv/Scripts/activate.bat或者运行./venv/Scripts/activate命令。我这里显示的是Linux的效果。

 5. 安装环境所需的三方包

运行如下命令即可:

pip install -r requirements.txt

接下来等待安装即可,不过遇到比较大的推荐手动安装.whl文件然后使用pip install xxx.whl命令进行安装。

一般安装上面都会有下载链接,复制链接地址到迅雷进行下载即可。

 6. 运行Demo开始工作

接下来我们直接运行以下命令即可开始工作了。

python web_demo.py

7. 其他问题

如果有其他任何问题请关注我公众号,拉你进交流群一起讨论。

猜你喜欢

转载自blog.csdn.net/weixin_41529012/article/details/131456645