In diesem Blog führe ich Sie durch den Prozess der Feinabstimmung des Llama 2 7B-Modells von Meta für die Klassifizierung von Nachrichtenartikeln in 18 verschiedene Kategorien. Ich werde einen Datensatz mit Nachrichtenklassifizierungsanweisungen verwenden, der zuvor mit GPT 3.5 erstellt wurde. Wenn Sie daran interessiert sind, wie ich diesen Datensatz erstellt habe und welche Motivation hinter diesem kleinen Projekt steckt, können Sie auf meinen vorherigen Blog oder mein vorheriges Notizbuch verweisen, in dem ich die Details bespreche.
Der Zweck dieses Notizbuchs besteht darin, eine umfassende Schritt-für-Schritt-Anleitung für die Feinabstimmung jedes LLM (Large Language Model) bereitzustellen. Im Gegensatz zu vielen verfügbaren Tutorials werde ich jeden Schritt im Detail erklären und dabei alle verwendeten Klassen, Funktionen und Parameter abdecken.
Dieser Leitfaden ist in zwei Teile gegliedert:
Teil 1: Setup und Vorbereitung zur Feinabstimmung
Erforderliche Module installieren und laden.
Schritte zum Erhalt der Genehmigung für die Modelle der Llama 2-Serie von Meta.
Hugging Face CLI und Benutzerauthentifizierung einrichten.
Vorab trainierte Modelle und die zugehörigen Tokenizer laden.
Trainingsdatensätze laden
. Trainingsdatensätze für die Feinabstimmung des Modells vorverarbeiten
Teil 2: Feinabstimmung und Open Source [dieser Blog]
Konfigurieren Sie die PEFT-Methode (Parameter Efficient Fine-Tuning) QLoRA für eine effiziente Feinabstimmung.
Feinabstimmung des vorab trainierten Modells.
Speichern Sie das feinabgestimmte Modell und den zugehörigen Tokenizer.
Verschieben Sie das feinabgestimmte Modell auf Hugging Face Hub, damit es öffentlich
genutzt werden kann. Wenn Sie es auf Google Colab ausführen, gehen Sie zu Laufzeiten > Laufzeittyp ändern. Ändern Sie den Hardwarebeschleuniger auf GPU. Ändern Sie den GPU-Typ auf T4. Ändern Sie die Laufzeitform auf hohen RAM.
Lasst uns beginnen!
Erstellen Sie eine PEFT-Konfiguration
Die Feinabstimmung eines vorab trainierten LLM an einem Downstream-Datensatz führt zu einer enormen Leistungssteigerung im Vergleich zur Verwendung eines sofort einsatzbereiten vorab trainierten LLM. Da die Modelle jedoch immer größer werden, werden auch Mikro-Modelle in Originalgröße benötigt.