前に書いた: これは、AI 愛好家に教訓を与えたいと考えて、数日間夜更かしした経験のいくつかを書き留める私の最初の投稿です。スタンフォードと ALPACA プロジェクトを見て以来、私はそれができるかどうか疑問に思っていました。 AI CHAT のセットをローカルにデプロイするため、多くの Web サイトを検索しましたが、FastChat のデプロイメントを完全に書き留めることができなかったので、この記事を思いつきました。
1 事前準備：Nカード（24G以上のビデオメモリ）、16Gメモリ、i5以上のCPU
2 オペレーティング システム: Ubuntu 22.04 https://ubuntu.com/download/desktop/thank-you?version=22.04.2&architecture=amd64
3 N カード ドライバーをインストールします。
3.1 システムに付属の Nk ドライバーを選択する
3.2 最新の 公式ドライバーをダウンロード | NVIDIA
3.3 nvidia-smi を使用してドライバーが正常にインストールされたかどうかを確認する
4 設置環境：
sudo apt update
sudo apt install tmux htop
wget https://repo.anaconda.com/archive/Anaconda3-2022.10-Linux-x86_64.sh
bash Anaconda3-2022.10-Linux-x86_64.sh
conda create -n fastchat python=3.9
conda activate fastchat
git clone https://github.com/lm-sys/FastChat.git
#如果失败加上https://ghproxy.com/https://github.com/lm-sys/FastChat.git
cd FastC