Tsinghua código abierto chino-inglés modelo de diálogo bilingüe ChatGLM2-6B notas de instalación local
En primer lugar, vaya directamente a los recursos, el código fuente de ChatGLM2-6B y los archivos del modelo están en el disco de red:
Enlace: https://pan.baidu.com/s/1DciporsVT-eSiVIAeU-YmQ
Código de extracción: cssa
El Léame oficial ya está muy detallado, y escribir algunos blogs de instalación es un poco superfluo. De acuerdo con la intención original de registrar el contenido de su propio trabajo, escríbalo, después de todo, la salida es el mejor aprendizaje.
Este artículo registra el proceso de instalación local de ChatGLM2-6B. Localmente se usa una tarjeta gráfica RTX4070 12G. Es un poco reacio para este modelo, pero en la operación real, se encuentra que el sistema Win11 tiene almacenamiento de GPU compartido, lo que hace que mi La tarjeta gráfica 12G es inútil. El modelo 13G está funcionando, y parece funcionar normalmente, y no hay problema de que se rompa la memoria de video. El funcionario también proporciona el modelo int4, que puede ejecutarse en una memoria de video de 6 G. Dado que ya se está ejecutando de mi lado, no estoy considerando usar el modelo int4. La siguiente imagen muestra el uso de GPU después de cargar mi modelo, lo cual es increíble. . .
1. Entorno virtual de copia de Conda
conda creat -n new_env_name --copy old_env_name
Cree el entorno operativo ChatGLM. Debido a que ChatGLM usa el marco pytorch, use Conda para copiar un entorno virtual Pytorch para que no cause daños a otras dependencias ambientales después de instalar las dependencias requeridas.
2. Agregar fuente espejo PIP
Dado que la dependencia de instalación necesita usar pip, para acelerar el acceso, configure la fuente del espejo PIP
Configure la fuente de la imagen PIP para cambiar al entorno virtual correspondiente, comoconda activate chatglm2
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
Además, hay otras fuentes de espejo disponibles
阿里云 https://mirrors.aliyun.com/pypi/simple/
豆瓣 http://pypi.douban.com/simple/
清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/
中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/
El trabajo de conda configurando la fuente del espejo se ha escrito en la instalación anterior de Pytorch, puede consultarlo.
3. Descargar código
- Clonar el código en Github
git clone https://github.com/lordum/ChatGLM2-6B.git
4. Descarga el modelo
Durante el proceso de inicio del modelo, el programa descargará automáticamente el archivo bin del modelo del sitio web oficial de Huging Face, pero debido a problemas de red, la descarga puede fallar. El sitio web oficial proporciona una dirección de descarga de Tsinghua (https://cloud. tsinghua.edu.cn /d/674208019e314311ab5c/), pero esta dirección solo tiene modelos y no se encontrarán muchos archivos de configuración, por lo que debe ir al sitio web oficial de Hugging Face para descargar (https://huggingface.co/THUDM /chatglm2-6b/tree/main); si lo ejecuta directamente, puede experimentar los problemas enumerados en la Pregunta 1 a continuación. Empaquetaré todos los archivos aquí y los coloco en el disco de red de Baidu (enlace: https://pan.baidu.com/s/1DciporsVT-eSiVIAeU-YmQ código de extracción: cssa), puede recoger lo que necesita.
Después de la descarga, copie todos los modelos y archivos de configuración del directorio del modelo al directorio del código. No es necesario crear una nueva carpeta o similar, simplemente póngalos junto con el código original.
5. Instalación de dependencias
El primero es instalar el requisito. Las dependencias en el requisito.txt se pueden ajustar de acuerdo con su propio entorno. Por ejemplo, debido a que copié el entorno de pytorch, puedo eliminar la línea de pytorch. La instalación de tubería aquí también es una fuente de espejo doméstico, que puede mejorar en gran medida la velocidad de instalación.El método de adición se introdujo anteriormente.
transformersSe recomienda la versión oficial de la biblioteca recomendada como 4.30.22.0 torcho superior para obtener el mejor rendimiento de inferencia.
pip install -r requirements.txt
6. Aplicación
El documento oficial proporciona una variedad de métodos de aplicación. Generalmente elegimos la interfaz web para ejecutar. Se proporcionan dos web_demos en el código oficial. web_demo.py tiene la forma de una pregunta y una respuesta. La respuesta se da de manera unificada. .web_demo2.py es una respuesta de transmisión, la respuesta se transmite. Cabe señalar que las dependencias necesarias se deben instalar de las dos formas, para ser más práctico elegimos web_demo2.py para ejecutar.
@AdamBear implementó una versión web de Demo basada en Streamlit web_demo2.py. Al usarlo, primero debe instalar las siguientes dependencias:
pip install streamlit streamlit-chat
El modelo se ejecuta de forma predeterminada en Hugging Face para extraer el archivo del modelo. Si usa un archivo local, debe modificar la declaración de carga del modelo:
Cambie las líneas 15 y 16 a la ruta del código local para cargar
Luego ejecuta con el siguiente comando:
streamlit run web_demo2.py
Después de la prueba, si la solicitud de entrada es más larga, el uso de la versión web de demostración basada en Streamlit será más fluido.
problemas de instalación
1. ValueError: clase de configuración no reconocida <clase 'transformers_modules.chatglm-6b.co
Descripción del problema
Durante el proceso de implementación de ChatGLM, apareció la siguiente información de errores.
ValueError: Clase de configuración no reconocida <clase 'transformers_modules.chatglm-6b.configuration_chatglm.ChatGLMConfig'> para construir un AutoTokenizer.
La causa del problema
Descargué los parámetros del modelo a través del disco en la nube de Tsinghua (los detalles son los siguientes) y faltan muchos archivos de configuración importantes.
solución
El archivo de configuración completo puede descargarse a través del sitio web oficial de Hagging Face y luego colocarse en la misma ubicación que los parámetros del modelo.
https://huggingface.co/THUDM/chatglm2-6b/tree/main
Artículo de referencia: https://blog.csdn.net/weixin_40964597/article/details/131074884