Ausführliche Erklärung des Llama 2 mit Langchain-Projekts (1) Am
25. Februar 2023 veröffentlichte das amerikanische Meta-Unternehmen das Open-Source-Modell Llama 1. Anschließend veröffentlichte die Meta Corporation am 18. Juli 2023 das Open-Source-Großmodell Llama 2, das Modelle mit unterschiedlichen Parameterskalen von 7 Milliarden, 13 Milliarden und 70 Milliarden umfasst. Im Vergleich zu Lama 1 sind die Trainingsdaten von Lama 2 um 40 % gestiegen, die Kontextlänge hat sich auf 4096 erhöht, was dem Doppelten von Lama 1 entspricht, und es wurde ein Aufmerksamkeitsmechanismus für Gruppenabfragen eingeführt. Konkret wurde das große Modell „Llama 2“ auf 2 Billionen Token trainiert und mithilfe von 1 Million von Menschen markierten Daten verfeinert, wie in Abbildung 17-1 dargestellt.
Abbildung 17-1 Vergleich des Llama 2-Modells und des Llama 1-Modells
Den Bewertungsergebnissen zufolge ist Llama 2 anderen Open-Source-Sprachmodellen in vielen externen Benchmarks überlegen, einschließlich Argumentation, Codierung und Wissenstests, wie in Abbildung 17-2 dargestellt. Gavins WeChat-Konto: NLP_Matrix_Space
Abbildung 17-2 Llama 2-Benchmark-Vergleich
Wie in Abbildung 17-3 dargestellt, gewinnt Llama 2 in den meisten Fällen im Vergleich mit großen Modellen der gleichen Parametergröße. Gavins WeChat-Konto: NLP_Matrix_Space
Abbildung 17-3 Vergleich von Llama 2 mit einem großen Modell der gleichen Parametergröße
wie in Abbildung 17-4&