Recientemente, ChatGLM-6B lanzó la segunda generación de ChatGLM2-6B, así que decidí implementarlo para probar el agua. A continuación, se explica el proceso de implementación detallado y se explican los problemas encontrados durante la implementación y las soluciones.
1. Proceso de implementación
1. Instale python, git y otras herramientas necesarias
Antes de implementar el proyecto, es necesario implementar algunas herramientas necesarias. La siguiente es una explicación detallada de los pasos de instalación de la herramienta necesarios para cada paso.
1.1 instalar python
Para saber cómo instalar python, hay muchos tutoriales en Internet, aquí hay solo una breve explicación.
(1) Instale python instalando anaconda y miniconda
Puede instalar python instalando un entorno virtual a través de anaconda y miniconda. La ventaja de esta instalación es que puede cambiar entre diferentes versiones de python y varios paquetes de tres partes.
Debido a que muchos proyectos requieren diferentes versiones, el proyecto no podrá ejecutarse. En este momento, usar conda para instalar diferentes entornos virtuales para cambiar puede resolver perfectamente este problema. (También instalé python a través de miniconda).
Aquí están los enlaces de descarga oficiales de anaconda y miniconda , puede descargar de acuerdo con su propio sistema y requisitos de versión.
Los pasos de instalación de anaconda y miniconda son básicamente el siguiente paso sin pensar, solo preste atención a la configuración de las variables de entorno.
Para saber cómo configurar después de la instalación, puede ver el siguiente tutorial introductorio:
Versión Windows Versión Linux Versión MacOS
(2) Descargue el archivo del sitio web oficial de Python para la instalación
Puede descargarlo a través del sitio web oficial de python y el sitio web chino de python
Son todas instalaciones descerebradas, basta con elegir la ruta de instalación y configurar las variables de entorno.
(3) Usar directamente el python que viene con el sistema (no recomendado)
Personalmente, no se recomienda utilizar el python que viene con el sistema, ya que no se puede cambiar a la ligera y es fácil que se produzcan errores en el sistema si se cambia.
1.2 instalar git
Con respecto a cómo instalar git, puedes leer un blog que escribí antes, y puedes hacer clic aquí para ingresar.
Explica en detalle las direcciones de descarga de las diferentes versiones y el tutorial de inicio rápido de git, para que puedas comer con confianza.
1.3 instalar cuda
Debido a que el proyecto requiere una tarjeta gráfica, debemos instalar cuda aquí. Necesitamos instalar cuda diferente según el python que instalamos y la versión de antorcha que necesitamos.
Puede ingresar nvidia-smi en la línea de comando para verificar su versión de cuda. El cuda instalado no puede exceder el anterior, pero puede ser inferior a esta versión. Por ejemplo, si mi versión de CUDA es 12.0, no puede instalar una versión superior a 12.0 .
Puede descargar e instalar según su propia situación .
2. Clona el proyecto con git
Use el siguiente comando para clonar el proyecto en el directorio que desea instalar
git clone https://github.com/THUDM/ChatGLM2-6B.gitGeneralmente no hay problema aquí.
Si hay un problema, generalmente tiene las siguientes situaciones:
(1) El sistema Windows requiere herramientas (DDDD);
(2) El sistema Linux es generalmente un problema de proxy;
Si ocurre el siguiente error:
fatal: no se puede acceder a 'https://github.com/xxx.git/': no se pudo conectar al puerto 127.0.0.1 7891: ¿Cuál es el motivo de la conexión rechazada?
Necesitas hacer lo siguiente:
# 使用git config命令查询并取消http或https代理，例如：
git config --global http.proxy
git config --global --unset http.proxy
git config --global https.proxy
git config --global --unset https.proxy
# 使用env命令查询并取消http或https代理，例如：
env|grep -i proxy
unset http_proxy
unset https_proxy
# 修改系统环境变量，删除http_proxy和https_proxy变量。3. Descarga el modelo
Antes de descargar el modelo, primero ingrese al directorio del proyecto:
cd ChatGLM2-6B
A continuación, cree una nueva carpeta THUDM en el directorio del proyecto y, a continuación, cree una nueva carpeta chatglm2-6b en la carpeta THUDM. La estructura del directorio es la siguiente:
Luego vaya a huggingface y coloque todos los archivos del modelo y los archivos de configuración en la carpeta .../ChatGLM2-6B/THUDM/chatglm2-6b. Se recomienda descargar todo manualmente.
4. Instalar el entorno virtual
Porque yo uso miniconda aquí. La instalación de anaconda es la misma que la mía.
Hay instrucciones detalladas para varios sistemas sobre la instalación del entorno virtual, por lo que no lo explicaré aquí.
El comando para instalar el entorno virtual es (uso el mío aquí como ejemplo):
conda create -n webui python=3.10.10 -yEntre ellos, -n webui es el entorno virtual creado, después de python=, ingrese la versión de python que desea, y -y significa que todas las solicitudes posteriores son sí, por lo que no necesita ingresar manualmente sí cada vez.
Después de instalar el entorno virtual, debemos ingresar al entorno virtual.
Introduzca conda env list para ver qué entornos virtuales están disponibles actualmente. Por ejemplo, el webui que acabo de instalar.
Luego ingrese conda activar webui para ver que la base anterior ha cambiado a webui.
Finalmente, cree un entorno virtual bajo el proyecto actual, use el siguiente comando:
python -m venv venvEl primer venv aquí significa usar el módulo venv para crear un entorno virtual, y el segundo venv significa crear una nueva carpeta venv en el directorio actual como la ruta de instalación del entorno virtual actual. El segundo nombre puede escribirlo usted mismo, pero generalmente es la carpeta venv. Una vez completada la creación, puede ver que hay un directorio venv debajo del directorio actual.
Luego use la activación para usar el entorno virtual actual. Para sistemas Linux, use el comando source ./venv/bin/activate. Para Windows, haga doble clic en ./venv/Scripts/activate.bat o ejecute ./venv/Scripts/ activar comando. Lo que muestro aquí es el efecto de Linux.
5. Se requieren paquetes de tres partes para el entorno de instalación
Simplemente ejecute el siguiente comando:
pip install -r requirements.txtLuego, solo espere la instalación, pero se recomienda instalar el archivo .whl manualmente y luego usar el comando pip install xxx.whl para instalarlo si es relativamente grande.
En general, habrá un enlace de descarga en la instalación, simplemente copie la dirección del enlace a Xunlei para descargar.
6. Ejecute la demostración para comenzar a trabajar
A continuación, podemos ejecutar directamente el siguiente comando para comenzar a trabajar.
python web_demo.py
7. Otros temas
Si tiene alguna otra pregunta, preste atención a mi cuenta oficial y llévelo al grupo de comunicación para discutir juntos.