18 июля 2023 года Meta открыла исходный код Llama2, который обучен на 2 триллионах токенов и может использоваться для бизнеса и исследований, включая код для весов моделей, предварительное обучение и тонкую настройку от 7B до 70B. По сравнению с Llama1, Llama2 имеет множество улучшений.Результаты оценки следующие:
Модель с открытым исходным кодом, основанная на модели Llama2, выглядит следующим образом:
1.WizardCoder Python V1.0.
https://huggingface.co/WizardLM/WizardCoder-Python-13B-V1.0
https://huggingface.co/WizardLM/WizardCoder-Python-34B-V1.0
2. Код Phind Лама v1
https://huggingface.co/Phind/Phind-CodeLlama-34B-v1
https://huggingface.co/Phind/Phind-CodeLlama-34B-Python-v1
3. МастерLM 70B V1.0
https://huggingface.co/WizardLM/WizardLM-70B-V1.0
4. Дофин Лама 2 7Б
https://huggingface.co/ehartford/dolphin-llama2-7b
5. Аэроборос Л2 2.0
https://huggingface.co/jondurbin/airoboros-l2-7b-gpt4-2.0
https://huggingface.co/jondurbin/airoboros-l2-13b-gpt4-2.0
https://huggingface.co/jondurbin/airoboros-33b-gpt4-2.0
https://huggingface.co/jondurbin/airoboros-l2-70b-gpt4-2.0
6.Предварительный просмотр OpenOrca2 13B
https://huggingface.co/Open-Orca/OpenOrcaxOpenChat-Preview2-13B
7.Викунья v1.5 16к
https://huggingface.co/lmsys/vicuna-7b-v1.5-16k
https://huggingface.co/lmsys/vicuna-13b-v1.5-16k
8.Викунья v1.5
https://huggingface.co/lmsys/vicuna-7b-v1.5
https://huggingface.co/lmsys/vicuna-13b-v1.5
9.Гермес ЛЛонгМА-2 8к
https://huggingface.co/conceptofmind/Hermes-LLongMA-2-7b-8k
https://huggingface.co/conceptofmind/Hermes-LLongMA-2-13b-8k
10.ОпенЧат V3.2
https://huggingface.co/openchat/openchat_v3.2
11. Лама 2 70B Инструкция v2
https://huggingface.co/upstage/Llama-2-70b-instruct-v2
12.КонюшняБелуга
https://huggingface.co/stabilityai/StableBeluga-7B
https://huggingface.co/stabilityai/StableBeluga-13B
https://huggingface.co/stabilityai/StableBeluga2
13. Голопалуба
https://huggingface.co/KoboldAI/LLAMA2-13B-Holodeck-1
https://huggingface.co/KoboldAI/LLAMA2-13B-Holodeck-1-GGML
14. Лама 2 7Б 32К
https://huggingface.co/togethercomputer/LLaMA-2-7B-32K
15. Химическая
https://huggingface.co/nRuaif/Kimiko_7B
https://huggingface.co/nRuaif/Kimiko_13B
v16.LLongMA 2 16к**
https://huggingface.co/conceptofmind/LLongMA-2-7b-16k
https://huggingface.co/conceptofmind/LLongMA-2-13b-16k
17. Аэроборос Л2 GPT4 1.4.1
https://huggingface.co/jondurbin/airoboros-l2-7b-gpt4-1.4.1
https://huggingface.co/jondurbin/airoboros-l2-13b-gpt4-1.4.1
https://huggingface.co/jondurbin/airoboros-l2-70b-gpt4-1.4.1
**18.Лама 2 13Б Орка 8кВ
https://huggingface.co/OpenAssistant/llama2-13b-orca-8k-3319
19. МастерLM 13B V1.2
https://huggingface.co/WizardLM/WizardLM-13B-V1.2
20.LLongMA 2 8k
https://huggingface.co/conceptofmind/LLongMA-2-7b
https://huggingface.co/conceptofmind/LLongMA-2-13b
21.Ноус Гермес Лама 2
https://huggingface.co/NousResearch/Nous-Hermes-llama-2-7b
https://huggingface.co/NousResearch/Nous-Hermes-llama-2-7b-GGML
https://huggingface.co/NousResearch/Nous-Hermes-Llama2-13b
https://huggingface.co/NousResearch/Nous-Hermes-Llama2-13b-GGML
https://huggingface.co/NousResearch/Nous-Hermes-Llama2-13b-GPTQ
22.Редмонд Тупик 13B
https://huggingface.co/NousResearch/Redmond-Puffin-13B
https://huggingface.co/NousResearch/Redmond-Puffin-13B-GGML
23. Лама 2 7Б без цензуры
https://huggingface.co/georgesung/llama2_7b_chat_uncensored
24. Чат Chief AI 7B без цензуры
https://huggingface.co/Tap-M/Luna-AI-Llama2-Uncensored
25. Гуанако Лама 2.
https://huggingface.co/Mikael110/llama-2-7b-guanaco-fp16
https://huggingface.co/Mikael110/llama-2-13b-guanaco-fp16
https://huggingface.co/Mikael110/llama-2-70b-guanaco-qlora
26.Китайская лама 2 7Б
https://github.com/LinkSoul-AI/Chinese-Llama-2-7b
27.llama2-Китайский чат
https://github.com/CrazyBoyM/llama2-Chinese-chat
参考文献:
[1] https://github.com/facebookresearch/llama
[2] https://github.com/facebookresearch/llama-recipes/
[3] https://ai.meta.com/resources/models -and-libraries/llama-downloads/
[4] https://github.com/facebookresearch/llama/blob/main/MODEL_CARD.md
[5] https://ai.meta.com/research/publications/llama- 2-open-foundation-and-fine-tuned-chat-models/
[6] https://ai.meta.com/resources/models-and-libraries/llama/
[7] https://github.com/ ovh/ai-training-examples/blob/main/notebooks/natural-language-processing/llm/miniconda/llama2-fine-tuning/llama_2_finetuning.ipynb
[8] https://blog.ovhcloud.com/fine-tuning- llama-2-models-using-a-single-gpu-qlora-and-ai-notebooks/
[9] https://www.reddit.com/r/LocalLLaMA/wiki/models/
[10] Оценка большой модели: https://opencompass.org.cn/