状況
LLM Webui デモをテストするときに、依存関係 pip install bitsandbytes==0.40.0 をインストールした後、python -m モジュール名でエラーが報告されました: GPU が利用可能であるにもかかわらず、CUDA セットアップに失敗しました。詳細を取得するには、次のコマンドを実行してください。
解決
git Hub 公式リポジトリから
リファレンスをダウンロード
手動インストールが必要です:
手動でインストールするには、次の手順を使用します。
pip uninstall bitsandbytes --yes # pip ですでにインストールされている場合
git clone https://github.com/TimDettmers/bitsandbytes #ネットワークが悪い場合は手動でダウンロードしてください
cd ビットサンドバイト
CUDA_VERSION=114 make cuda11x GPP=$(this g++) -j 2 #ここを cuda バージョンに変更し、nvidia-smi で確認してください
pip インストール 。
Python check_bnb_install.py
python -c 'ビットサンドバイトをインポート'