DB-GPTの使用法

1. ソースコードのインストール

インストール

DB-GPT をインストールするには、以下の手順に従ってください。

1. ハードウェア要件

ビデオ メモリが十分でない場合、DB-GPT は 8 ビットおよび 4 ビットの量子化バージョンをサポートします

2.インストール

git clone https://github.com/eosphoros-ai/DB-GPT.git

現在、Sqlite がデフォルトのデータベースとして使用されているため、DB-GPT の迅速な展開には関連するデータベース サービスの展開は必要ありません。他のデータベースを使用する場合は、まず関連するデータベース サービスをデプロイする必要があります。現在、Python 環境とパッケージの依存関係管理に Miniconda を使用して Miniconda をインストールしています

conda create -n dbgpt_env python=3.10
conda activate dbgpt_env
pip install -e .

ナレッジベースを使用する前に

python -m spacy download zh_core_web_sm

すでに環境がインストールされており、モデルを作成する必要がある場合は、huggingface 公式 Web サイトにアクセスしてモデルをダウンロードします。

cd DB-GPT
mkdir models and cd models
#### llm model
git clone https://huggingface.co/lmsys/vicuna-13b-v1.5
or
git clone https://huggingface.co/THUDM/chatglm2-6b

#### embedding model
git clone https://huggingface.co/GanymedeNil/text2vec-large-chinese
or
git clone https://huggingface.co/moka-ai/m3e-large

必要な元の .env ファイルを構成します。env.template にコピーして作成します。

openai ラージ モデル サービスを使用したい場合は、LLM の使用に関する FAQ を参照してください。

LLM_MODEL を使用するモデルに設定するなど、基本的なパラメーターは .env ファイルで構成できます。

LLM_MODEL を使用するモデルに設定するなど、基本的なパラメーターは .env ファイルで構成できます。(Vicuna-v1.5、現在の Vicuna-v1.5 モデル (llama2 ベース) はオープンソースです。LLM_MODEL=vicuna-13b-v1.5 を設定してこのモデルを使用することをお勧めします。

3. 走る

(オプション) サンプルを SQLlite にロードする

bash ./scripts/examples/load_examples.sh

Windows プラットフォームの場合:

.\scripts\examples\load_examples.bat

1.db-gptサーバーを実行します。

python pilot/server/dbgpt_server.py

ブラウザを開いて http://localhost:5000 にアクセスしてください

。Web-UI について詳しく知りたい場合は、https://github./csunny/DB-GPT/tree/new-page-framework/datacenter にアクセスしてください。

python pilot/server/dbgpt_server.py --light

複数の GPU

DB-GPT はデフォルトで利用可能な GPU をロードします。.env ファイル CUDA_VISIBLE_DEVICES=0,1 を変更して GPU ID を指定することもできます。

起動するGPU IDを指定することもできます

# Specify 1 gpu
CUDA_VISIBLE_DEVICES=0 python3 pilot/server/dbgpt_server.py

# Specify 4 gpus
CUDA_VISIBLE_DEVICES=3,4,5,6 python3 pilot/server/dbgpt_server.py

同時に、.env ファイルで MAX_GPU_MEMORY=xxGib を設定することで、各 GPU が使用する最大メモリを変更できます。

メモリーが充分ではありません

DB-GPT は 8 ビット量子化と 4 ビット量子化をサポートします。

.env ファイルで QUANTIZE_8bit=True または QUANTIZE_4bit=True を設定できます。

8 ビット量子化の Llama-2-70b は 80 GB VRAM マシンで実行でき、4 ビット量子化は 48 GB VRAM マシンで実行できます。

2.ドッカーのインストール

1. Dockerイメージをインストールする

docker pull eosphorosai/dbgpt:latest
bash docker/build_all_images.sh
docker images|grep "eosphorosai/dbgpt"

docker/build_all_images.sh をビルドするときにパラメーターを指定することもできます。

bash docker/build_all_images.sh \
--base-image nvidia/cuda:11.8.0-runtime-ubuntu22.04 \
--pip-index-url https://pypi.tuna.tsinghua.edu.cn/simple \
--language zh

コマンド bash docker/build_all_images.sh --help を指定すると、その使用方法を確認できます。

2. コンテナを実行する

ローカルモデルとSQLiteデータベースで実行

docker run --gpus all -d \
    -p 5000:5000 \
    -e LOCAL_DB_TYPE=sqlite \
    -e LOCAL_DB_PATH=data/default_sqlite.db \
    -e LLM_MODEL=vicuna-13b-v1.5 \
    -e LANGUAGE=zh \
    -v /data/models:/app/models \
    --name dbgpt \
    eosphorosai/dbgpt

ブラウザを開いて http://localhost:5000 にアクセスします。

-e LLM_MODEL=vicuna-13b-v1.5, means we use vicuna-13b-v1.5 as llm model, see /pilot/configs/model_config.LLM_MODEL_CONFIG

-v /data/models:/app/models, 指定挂载的模型文件 directory /data/models to the docker container directory /app/models, 你也可以替换成你自己的模型.

コマンドを使用してログを表示することもできます

docker logs dbgpt -f

ローカルモデルとMySQLデータベースで実行

docker run --gpus all -d -p 3306:3306 \
    -p 5000:5000 \
    -e LOCAL_DB_HOST=127.0.0.1 \
    -e LOCAL_DB_PASSWORD=aa123456 \
    -e MYSQL_ROOT_PASSWORD=aa123456 \
    -e LLM_MODEL=vicuna-13b-v1.5 \
    -e LANGUAGE=zh \
    -v /data/models:/app/models \
    --name db-gpt-allinone \
    db-gpt-allinone

ブラウザを開いて http://localhost:5000 にアクセスします。

-e LLM_MODEL=vicuna-13b-v1.5, means we use vicuna-13b-v1.5 as llm model, see /pilot/configs/model_config.LLM_MODEL_CONFIG

-v /data/models:/app/models, 指定挂载的模型文件 directory /data/models to the docker container directory /app/models, 你也可以替换成你自己的模型.

コマンドを使用してログを表示することもできます

docker logs db-gpt-allinone -f

openaiインターフェースで実行

PROXY_API_KEY="You api key"
PROXY_SERVER_URL="https://api.openai.com/v1/chat/completions"
docker run --gpus all -d -p 3306:3306 \
    -p 5000:5000 \
    -e LOCAL_DB_HOST=127.0.0.1 \
    -e LOCAL_DB_PASSWORD=aa123456 \
    -e MYSQL_ROOT_PASSWORD=aa123456 \
    -e LLM_MODEL=proxyllm \
    -e PROXY_API_KEY=$PROXY_API_KEY \
    -e PROXY_SERVER_URL=$PROXY_SERVER_URL \
    -e LANGUAGE=zh \
    -v /data/models/text2vec-large-chinese:/app/models/text2vec-large-chinese \
    --name db-gpt-allinone \
    db-gpt-allinone

-e LLM_MODEL=proxyllm, 通过设置模型为第三方模型服务API， 可以是openai, 也可以是fastchat interface…

-v /data/models/text2vec-large-chinese:/app/models/text2vec-large-chinese, 设置知识库embedding模型为text2vec. container.”

ブラウザを開いて http://localhost:5000 にアクセスします。

3. AutoDL の展開

インスタンスの作成

1. 右側の AutoDL イメージを選択してインスタンスを作成します
2. ホスト環境と GPU 環境を選択します ここでは CPU の種類として Xeon® Platnum8336C を選択します 場合によっては GPU 4090 を推奨します 3. コンピュータを起動し

ます

4. jupyterLab を開きます
5. ターミナルを選択します。

ターミナル構築プロセス

1.環境依存関係をインストールする

加速度を設定する

source /etc/network_turbo
conda activate dbgpt_env

2. モデルの準備（ここではchatglm2-6b-int4がすでに用意されています）

3. データベースを起動します

service mysql start

mysql インスタンスの起動で問題が発生した場合は、それをアンインストールして再インストールする必要があります。

#卸载
sudo apt-get autoremove --purge mysql-server
sudo apt-get remove mysql-server
sudo apt-get autoremove mysql-server
sudo apt-get remove mysql-common

sudo apt update
sudo apt install mysql-server

service mysql start

4. DBGPTサービスを開始します。

python /root/DB-GPT/pilot/server/dbgpt_server.py --port 6006

他のモデルを使用してサービスにアクセスする
chatgpt
1. openai API_KEY を適用する

2. /root/DB-GPT/.env 構成ファイルを変更する

chatglm-6b2
1. chatglm-6b2 モデルをダウンロードする (データ ディスクが十分であることを確認してください、chatglm-6b) 24G)

cd /root/autodl-tmp/models
git lfs clone https://huggingface.co/THUDM/chatglm2-6b

2. /root/DB-GPT/.env 構成ファイルを変更します。

vicunna-13b
1. vicunna-13b モデルをダウンロードします (データ ディスクが十分であることを確認してください。vicunna-13b には 50G があります)。

cd /root/autodl-tmp/models
git lfs clone https://huggingface.co/Tribbiani/vicuna-13b

2. /root/DB-GPT/.env 構成ファイルを変更します。