Uso de DB-GPT

1. Instalación del código fuente

Instalar

Siga los pasos a continuación para instalar DB-GPT

1. Requisitos de hardware

Si su memoria de video no es suficiente, DB-GPT admite versiones cuantificadas de 8 y 4 bits

2. Instalar

git clone https://github.com/eosphoros-ai/DB-GPT.git

Actualmente, Sqlite se utiliza como base de datos predeterminada, por lo que la implementación rápida de DB-GPT no requiere la implementación de servicios de bases de datos relacionados. Si desea utilizar otras bases de datos, primero debe implementar los servicios de bases de datos relacionados. Actualmente uso Miniconda para el entorno Python y la gestión de dependencias de paquetes para instalar Miniconda.

conda create -n dbgpt_env python=3.10
conda activate dbgpt_env
pip install -e .

Antes de utilizar la base de conocimientos

python -m spacy download zh_core_web_sm

Si ya instaló el entorno y necesita crear modelos, vaya al sitio web oficial de Huggingface para descargar el modelo.

cd DB-GPT
mkdir models and cd models
#### llm model
git clone https://huggingface.co/lmsys/vicuna-13b-v1.5
or
git clone https://huggingface.co/THUDM/chatglm2-6b

#### embedding model
git clone https://huggingface.co/GanymedeNil/text2vec-large-chinese
or
git clone https://huggingface.co/moka-ai/m3e-large

Configure el archivo .env del que debe provenir. Copie y cree en env.template.

Si desea utilizar el servicio de modelos grandes de Openai, puede consultar las preguntas frecuentes sobre el uso de LLM.

Los parámetros básicos se pueden configurar en el archivo .env, como configurar LLM_MODEL para el modelo a usar.

Los parámetros básicos se pueden configurar en el archivo .env, como configurar LLM_MODEL para el modelo a usar. (Vicuna-v1.5, el modelo actual Vicuna-v1.5 (basado en llama2) ha sido de código abierto. Se recomienda utilizar este modelo configurando LLM_MODEL=vicuna-13b-v1.5

3. correr

(Opcional) cargar ejemplos en SQLlite

bash ./scripts/examples/load_examples.sh

En plataforma Windows:

.\scripts\examples\load_examples.bat

1.Ejecute el servidor db-gpt

python pilot/server/dbgpt_server.py

Abra el navegador y visite http://localhost:5000.

Si desea obtener más información sobre la interfaz de usuario web, visite https://github./csunny/DB-GPT/tree/new-page-framework/datacenter

python pilot/server/dbgpt_server.py --light

Múltiples GPU

DB-GPT carga las GPU disponibles de forma predeterminada. También puede especificar los ID de GPU modificando el archivo .env CUDA_VISIBLE_DEVICES=0,1

También puede especificar el ID de la gpu para comenzar

# Specify 1 gpu
CUDA_VISIBLE_DEVICES=0 python3 pilot/server/dbgpt_server.py

# Specify 4 gpus
CUDA_VISIBLE_DEVICES=3,4,5,6 python3 pilot/server/dbgpt_server.py

Al mismo tiempo, puede modificar la memoria máxima utilizada por cada GPU configurando MAX_GPU_MEMORY=xxGib en el archivo .env.

No hay memoria suficiente

DB-GPT admite cuantificación de 8 bits y cuantificación de 4 bits.

Puede configurar QUANTIZE_8bit=True o QUANTIZE_4bit=True en el archivo .env

Llama-2-70b con cuantificación de 8 bits puede ejecutarse en máquinas de 80 GB de VRAM y la cuantificación de 4 bits puede ejecutarse en máquinas de 48 GB de VRAM.

2. instalación de la ventana acoplable

1. Instale la imagen de la ventana acoplable

docker pull eosphorosai/dbgpt:latest
bash docker/build_all_images.sh
docker images|grep "eosphorosai/dbgpt"

También puede especificar parámetros al compilar docker/build_all_images.sh

bash docker/build_all_images.sh \
--base-image nvidia/cuda:11.8.0-runtime-ubuntu22.04 \
--pip-index-url https://pypi.tuna.tsinghua.edu.cn/simple \
--language zh

Puede especificar el comando bash docker/build_all_images.sh --help para ver cómo usarlo

2. Ejecute el contenedor

Ejecutar con modelo local y base de datos SQLite.

docker run --gpus all -d \
    -p 5000:5000 \
    -e LOCAL_DB_TYPE=sqlite \
    -e LOCAL_DB_PATH=data/default_sqlite.db \
    -e LLM_MODEL=vicuna-13b-v1.5 \
    -e LANGUAGE=zh \
    -v /data/models:/app/models \
    --name dbgpt \
    eosphorosai/dbgpt

Abra el navegador y visite http://localhost:5000

-e LLM_MODEL=vicuna-13b-v1.5, means we use vicuna-13b-v1.5 as llm model, see /pilot/configs/model_config.LLM_MODEL_CONFIG

-v /data/models:/app/models, 指定挂载的模型文件 directory /data/models to the docker container directory /app/models, 你也可以替换成你自己的模型.

También puede ver los registros mediante el comando

docker logs dbgpt -f

Ejecutar con modelo local y base de datos MySQL.

docker run --gpus all -d -p 3306:3306 \
    -p 5000:5000 \
    -e LOCAL_DB_HOST=127.0.0.1 \
    -e LOCAL_DB_PASSWORD=aa123456 \
    -e MYSQL_ROOT_PASSWORD=aa123456 \
    -e LLM_MODEL=vicuna-13b-v1.5 \
    -e LANGUAGE=zh \
    -v /data/models:/app/models \
    --name db-gpt-allinone \
    db-gpt-allinone

Abra el navegador y visite http://localhost:5000

-e LLM_MODEL=vicuna-13b-v1.5, means we use vicuna-13b-v1.5 as llm model, see /pilot/configs/model_config.LLM_MODEL_CONFIG

-v /data/models:/app/models, 指定挂载的模型文件 directory /data/models to the docker container directory /app/models, 你也可以替换成你自己的模型.

También puede ver los registros mediante el comando

docker logs db-gpt-allinone -f

Ejecutar con interfaz openai

PROXY_API_KEY="You api key"
PROXY_SERVER_URL="https://api.openai.com/v1/chat/completions"
docker run --gpus all -d -p 3306:3306 \
    -p 5000:5000 \
    -e LOCAL_DB_HOST=127.0.0.1 \
    -e LOCAL_DB_PASSWORD=aa123456 \
    -e MYSQL_ROOT_PASSWORD=aa123456 \
    -e LLM_MODEL=proxyllm \
    -e PROXY_API_KEY=$PROXY_API_KEY \
    -e PROXY_SERVER_URL=$PROXY_SERVER_URL \
    -e LANGUAGE=zh \
    -v /data/models/text2vec-large-chinese:/app/models/text2vec-large-chinese \
    --name db-gpt-allinone \
    db-gpt-allinone

-e LLM_MODEL=proxyllm, 通过设置模型为第三方模型服务API， 可以是openai, 也可以是fastchat interface…

-v /data/models/text2vec-large-chinese:/app/models/text2vec-large-chinese, 设置知识库embedding模型为text2vec. container.”

Abra el navegador y visite http://localhost:5000

3. Implementación de AutoDL

Crear instancia

1. Seleccione la imagen AutoDL a la derecha para crear una instancia.
2. Seleccione el entorno de host y el entorno de GPU. Aquí, seleccione Xeon® Platnum8336C como tipo de CPU. Dependiendo de la situación, se recomienda GPU 4090. 3.

Inicie la computadora

4. Abra jupyterLab
5. Seleccione el terminal.

Proceso de construcción de terminales

1. Instalar dependencias del entorno.

Establecer aceleración

source /etc/network_turbo
conda activate dbgpt_env

2. Preparación del modelo (chatglm2-6b-int4 ya está preparado aquí)

3. Inicie la base de datos

service mysql start

Si tiene problemas al iniciar la instancia de mysql, debe desinstalarla y reinstalarla.

#卸载
sudo apt-get autoremove --purge mysql-server
sudo apt-get remove mysql-server
sudo apt-get autoremove mysql-server
sudo apt-get remove mysql-common

sudo apt update
sudo apt install mysql-server

service mysql start

4. Inicie el servicio DBGPT

python /root/DB-GPT/pilot/server/dbgpt_server.py --port 6006

Acceda a servicios

utilizando otros modelos
chatgpt
1. Solicite openai API_KEY

2. Modifique el archivo de configuración /root/DB-GPT/.env

chatglm-6b2
1. Descargue el modelo chatglm-6b2 (asegúrese de que su disco de datos sea suficiente, chatglm-6b 24G)

cd /root/autodl-tmp/models
git lfs clone https://huggingface.co/THUDM/chatglm2-6b

2. Modifique el archivo de configuración /root/DB-GPT/.env

vicunna-13b
1. Descargue el modelo vicuña-13b (asegúrese de que su disco de datos sea suficiente, vicunna-13b tiene 50G)

cd /root/autodl-tmp/models
git lfs clone https://huggingface.co/Tribbiani/vicuna-13b

2. Modifique el archivo de configuración /root/DB-GPT/.env