situación
Al probar la demostración de LLM Webui , después de instalar la dependencia pip install bitsandbytes==0.40.0, python -m module name informó un error: La configuración de CUDA falló a pesar de que la GPU estaba disponible. Ejecute el siguiente comando para obtener más información.
Solución
Descargar referencia del repositorio oficial de git hub
Requiere instalación manual:
Utilice los siguientes pasos para instalar manualmente:
pip desinstala bitsandbytes --yes # si ya lo instalaste con pip
git clone https://github.com/TimDettmers/bitsandbytes #Descargue manualmente si la red no es buena
cd bits y bytes
CUDA_VERSION=114 make cuda11x GPP=$(what g++) -j 2 #Cambia aquí a tu versión de cuda, compruébalo con nvidia-smi
instalación de pipas.
Python check_bnb_install.py
python -c 'importar bits y bytes'