部署Anwaltsanruf

Git – Paket herunterladen Git – Paket herunterladen Git – Paket herunterladen

Laden Sie git herunter, wget muss heruntergeladen werden ( GNU Wget 1.21.4 für Windows ),

Git Bash in Windows kann das native cmd vollständig ersetzen, Git Bash fehlen jedoch einige Befehle, die unter Linux weit verbreitet sind, wie z. B. der Befehl wget.

Nehmen wir hier den Installationsbefehl wget als Beispiel. Andere Befehle können auf die gleiche Weise gelöst werden:

1. Laden Sie das wget-Binärinstallationspaket herunter unter: https://eternallybored.org/misc/wget/

2. Entpacken Sie das Installationspaket und kopieren Sie wget.exe nach C:\Programme\Git\mingw64\bin\; (oder fügen Sie den Pfad von wget.exe in der entpackten Datei nach der Dekomprimierung zur Umgebungsvariablen hinzu).

Nachdem Sie GitHub - facebookresearch/llama: Inference code for LLaMA models heruntergeladen haben , führen Sie download.sh aus.

Anschließend werden Sie von download.sh aufgefordert, zunächst die Download-Adresse in der E-Mail einzugeben. Nach der Eingabe werden Sie gefragt, welche Modelle heruntergeladen werden sollen. Wir können sechs Modelle herunterladen: 7b, 13b, 70b, 7b-chat, 13b-chat und 70b-chat. Wenn Sie sie alle herunterladen möchten, drücken Sie einfach die Eingabetaste.

Unter diesen verfügt das 7b-Modell nur über eine konsolidierte Datei.00.pth mit einer Größe von 12,55 GB. Das 13b-Modell besteht aus 2 Dateien konsolidiert.00.pth und konsolidiert.01.pth mit jeweils 12,12 GB. Das 70b-Modell besteht aus 8 Dateien von konsolidiert.00.pth bis konsolidiert.07.pth. Die Dateigröße beträgt jeweils 16,06 GB.

Modell	Anzahl der Dateien	Dateigröße
7b	1	12,55 GB
13b	2	24,24 GB
70b	8	128,48 GB
7b-Chat	1	12,55 GB
13b-Chat	2	24,24 GB
70b-Chat	8	128,48 GB

 Referenz: Erste Schritte mit Deep Learning im Jahr 2023 (18) – Ausführen des Blogs des LLaMA2_Jtag-Agenten – CSDN-Blog

Betriebsumgebung

Es wird empfohlen, Python 3.8 und höher zu verwenden.

Die wichtigsten abhängigen Bibliotheken sind wie folgt:

• transformers >= 4.28.0
• sentencepiece >= 0,1,97
• gradio

Modell holen

Um den Nutzungsspezifikationen von LLaMA zu entsprechen, müssen die von uns veröffentlichten Lawyer LLaMA-Gewichte mithilfe der Original-LLaMA-Gewichtsdateien dekodiert werden (der relevante Code stammt von point-alpaca ).

1. Erhalten Sie das Original-LLaMA-Modell über offizielle Kanäle .

2. Erhalten Sie das Lawyer LLaMA-Gewicht über Hugging Face oder Baidu Netdisk (Extraktionscode: lwhx).

3. Führen Sie unter Verwendung der Dateien in der ursprünglichen LLaMA-Datei 7B/consolidated.00.pthden folgenden Bash-Befehl aus, um decrypt.pydie Lawyer LLaMA-Modelldatei zu dekodieren.

für f in "/path/to/model/pytorch_model"*".enc"; \
    tun, wenn [ -f "$f" ]; Dann \
       python3 decrypt.py "$f" "/path/to_original_llama/7B/consolidated.00.pth" "/path/to/model"; \
    fi; \
Erledigt

Ersetzen Sie im obigen Befehl /path/to/model/den Pfad zum heruntergeladenen Lawyer LLaMA.

1. Laden Sie das Modul zum Abrufen von Rechtsartikeln von Baidu Netdisk herunter (Extraktionscode: r0vx) und führen Sie den python server.pyStartdienst zum Abrufen von Rechtsartikeln aus. Er hängt standardmäßig an Port 9098.

Modelllauf

Über die Befehlszeile ausführen

Python demo_cmd.py \
--checkpoint /path/to/model \
--classifier_url "http://127.0.0.1:9098/check_hunyin" \
--use_chat_mode

Führen Sie es über die interaktive Schnittstelle aus

Führen Sie den folgenden Befehl aus, um die interaktive Webseite zu starten und darauf zuzugreifen http://127.0.0.1:7863.

Python demo_web.py \
--port 7863 \
--checkpoint /path/to/model \
--classifier_url "http://127.0.0.1:9098/check_hunyin"

Wenn Sie den Nginx-Reverse-Proxy verwenden möchten, um auf diesen Dienst zuzugreifen, können Sie auf https://github.com/LeetJoe/lawyer-llama/blob/main/demo/nginx_proxy.md verweisen  (Quelle:  @LeetJoe ).

Die Bereitstellung war nicht erfolgreich, möglicherweise funktioniert der Bash-Schritt nicht.