Inhaltsverzeichnis
Einführung, wie man Linux installiert und verwendet
Einführung, wie man Linux installiert und verwendet
bitsandbytes ist ein leichter Wrapper für benutzerdefinierte CUDA-Funktionen, insbesondere für den 8-Bit-Optimierer, die Matrixmultiplikation (LLM.int8()) und die Quantisierungsfunktionen.
GitHub: https://github.com/TimDettmers/bitsandbytes
Dokumentation: Modulbaum: – Dokumentation zu bitsandbytes v0.0.24
Papier: https://arxiv.org/abs/2110.02861
1. Merkmale von Bitsandbytes
Zerlegung mit gemischter Genauigkeit der 8-Bit-Matrixmultiplikation
LLM.int8() Inferenz
8-Bit-Optimierer: Adam, AdamW, RMSProp, LARS, LAMB, Lion (75 % Speichereinsparung)
Stabile Einbettungsschicht: durch bessere Verbesserung Stabilität der Initialisierung und Normalisierung
8-Bit-Quantisierung: Quantil-, lineare und dynamische Quantilisierung
Schnelle Quantilschätzung: 100-mal schneller als andere Algorithmen
Referenz:
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(
'decapoda-research/llama-7b-hf,
device_map='auto',
load_in_8bit=True,
max_memory=f'{int(torch.cuda.mem_get_info()[0]/1024**3)-2}GB')
Win11-Systeminstallation:
Fehlerbehebung bei der Bitsandbytes-Installation
Fehler:
RuntimeError:
CUDA-Setup ist fehlgeschlagen, obwohl die GPU verfügbar ist. Bitte führen Sie den folgenden Befehl aus, um weitere Informationen zu erhalten:
python -m bitsandbytes
Überprüfen Sie die Ausgabe des Befehls und prüfen Sie, ob Sie CUDA-Bibliotheken finden können. Möglicherweise müssen Sie sie zu Ihrem LD_LIBRARY_PATH hinzufügen
. Wenn Sie einen Fehler vermuten, entnehmen Sie bitte die Informationen von python -m bitsandbytes
Lösung:
1.bitsandbytes-windows fehlgeschlagen:
pip installiere bitsandbytes-windows
2. Installieren Sie das System und cuda neu, es ist nicht notwendig
3. Richtige Methode:
Laden Sie die whl-Installationsdatei herunter und installieren Sie sie per pip.
https://github.com/jllllll/bitsandbytes-windows-webui/releases/tag/wheels