MiniGPT4 シリーズ 1 の導入: RTX-3090 での導入手順の詳細な説明 Ubuntu Server_seaside2003 のブログ - CSDN ブログ
MiniGPT4 シリーズ 2 推論の章 コマンド ライン モード: RTX-3090 の詳細な推論 Ubuntu Server_seaside2003 のブログ - CSDN ブログ
MiniGPT4 シリーズ 3 モデル推論 (Web UI): RTX-3090 での推論 Ubuntu Server_seaside2003 のブログ-CSDN ブログ
この記事は、次の Zhihu の投稿の後半を参照しています。
FastChat、GPT-4 の 90% の容量を手動で備えたオープンソースの大規模言語モデル - プログラマーが求めた
ファストチャットのインストール
次の 2 つの方法があります。
pip 経由でインストールします。
pip3 install fschatソースコードのインストール:
git clone https://github.com/lm-sys/FastChat.git
cd FastChat
pip3 install --upgrade pip # enable PEP 660 support
pip3 install -e .
サービス開始
python -m fastchat.serve.cli --model-path /home/train/mycharm/new/vicunaこのとき、上記のリッチ パッケージがインストールされていないため、「ModuleNotFoundError: No module names 'rich'」というエラーが表示される場合があります。
ただし、直接 pip install rich を実行しようとして失敗しましたが、次のコマンドは正常に実行されました。
python -m pip install rich
このコマンドを参照してください: ModuleNotFoundError: 'rich' という名前のモジュールがありません
c# - 「ModuleNotFoundError: pipを使用してインストールしても「リッチ」という名前のモジュールがありません」答え
次のコマンドを再度実行すると、実行が成功したことがわかります。
python -m fastchat.serve.cli --model-path /home/train/mycharm/new/vicuna