Executando modelos de grande escala do Llama 3 em um ambiente local: um guia prático e de viabilidade

[Antevisão da transmissão ao vivo] Os modelos grandes substituirão os programadores? "

Introdução:

Llama é um modelo de linguagem grande (LLM) desenvolvido e de código aberto pela equipe de pesquisa de inteligência artificial da Meta (anteriormente Facebook). Está aberto para uso comercial e teve um impacto profundo em todo o campo da inteligência artificial. Seguindo o modelo Llama 2 lançado anteriormente que suporta 4096 contextos, a Meta lançou ainda a série Meta Llama 3 de modelos de linguagem com melhor desempenho, incluindo um modelo 8B (8 bilhões de parâmetros) e um modelo 70B (70 bilhões de parâmetros). O desempenho do Llama 3 70B é comparável ao Gemini 1.5 Pro e supera o Claude Big Cup em todos os aspectos, enquanto o modelo 400B+ deverá competir com o Claude Extra Large Cup e o novo GPT-4 Turbo

Em vários benchmarks de teste, os modelos da série Llama 3 demonstraram seu desempenho superior. Eles são comparáveis ​​a outros modelos populares de código fechado no mercado em termos de praticidade e avaliação de segurança, e até os superam em alguns aspectos. O lançamento da série Meta Llama 3 não apenas consolida sua posição competitiva no campo de modelos de linguagem em grande escala, mas também fornece a pesquisadores, desenvolvedores e empresas ferramentas poderosas para promover o desenvolvimento da compreensão e tecnologia de geração de linguagem.

endereço do projeto:

https://github.com/meta-llama/llama3

Diferenças entre lhama2 e lhama3

Diferenças entre lhama3 e GPT4

índice	Ligue 3	GPT-4
Tamanho do modelo	70B、400B+	100B, 175B, 500B
Tipo de parâmetro	Transformador	Transformador
Objetivos de Treinamento	Modelagem de linguagem mascarada、Perplexidade	Modelagem de linguagem mascarada、Perplexidade
dados de treinamento	Livros、WebText	Livros、WebText
desempenho	SOTA (perguntas e respostas, resumo de texto, tradução automática, etc.)	SOTA (perguntas e respostas, resumo de texto, tradução automática, etc.)
Código aberto	sim	não

Destaques do Lhama 3

• Aberto a todos: Meta torna a tecnologia de IA de ponta acessível ao abrir o código-fonte de uma versão leve do Llama 3. Quer você seja um desenvolvedor, pesquisador ou um amigo curioso sobre a tecnologia de IA, você pode explorar, criar e experimentar livremente. Llama 3 fornece uma API fácil de usar para pesquisadores e desenvolvedores.

• Grande escala do modelo: A escala de parâmetros do modelo Llama 3 400B+ atingiu 400 bilhões, que é um modelo de linguagem grande.

• Será integrado em vários aplicativos em breve: Llama 3 está atualmente equipado com Meta AI, endereço de experiência Meta AI: https://www.meta.ai/

Usando Ollama no Windows, executando o modelo Llama3

Visite a página https://ollama.com/download/windows para baixar OllamaSetup.exeo programa de instalação.

Após a instalação, selecione os parâmetros do modelo correspondente para instalação de acordo com a configuração do seu computador (são necessários pelo menos 8 GB de memória para executar 7B e pelo menos 16 GB de memória para executar 13B)

O que estou executando aqui é Llama3:8b. Pode-se observar que ainda existem alguns problemas com o chinês.

Modelo	Parâmetros	Tamanho	Download
Ligue 3	8B	4,7 GB	ollama run llama3
Ligue 3	70B	40 GB	ollama run llama3:70b
Mistral	7B	4,1 GB	ollama run mistral
Golfinho Phi	2,7B	1,6 GB	ollama run dolphin-phi
Phi-2	2,7B	1,7 GB	ollama run phi
Bate-papo Neural	7B	4,1 GB	ollama run neural-chat
Estorninha	7B	4,1 GB	ollama run starling-lm
Código Lhama	7B	3,8 GB	ollama run codellama
Lhama 2 sem censura	7B	3,8 GB	ollama run llama2-uncensored
Ligue para 2 13B	13B	7,3 GB	ollama run llama2:13b
Ligue para 2 70B	70B	39 GB	ollama run llama2:70b
Orca Mini	3B	1,9 GB	ollama run orca-mini
A lava	7B	4,5 GB	ollama run llava
Gema	2B	1,4 GB	ollama run gemma:2b
Gema	7B	4,8 GB	ollama run gemma:7b
Solar	10,7B	6,1 GB	ollama run solar

Usando o abraço facial

Visite: https://huggingface.co/chat/ e mudeModels

Replicar uso

Modelo 8B: https://replicate.com/meta/meta-llama-3-8b

Modelo 70B: https://replicate.com/meta/meta-llama-3-70b

Este artigo é uma reimpressão do artigo Heng Xiaopai e os direitos autorais pertencem ao autor original. Recomenda-se visitar o texto original. Para reimprimir este artigo, entre em contato com o autor original.

Linus resolveu resolver o problema por conta própria para evitar que os desenvolvedores do kernel substituíssem tabulações por espaços. Seu pai é um dos poucos líderes que sabe escrever código, seu segundo filho é o diretor do departamento de tecnologia de código aberto e seu filho mais novo é um núcleo. contribuidor de código aberto Huawei: Demorou 1 ano para converter 5.000 aplicativos móveis comumente usados ​​A migração abrangente para Hongmeng Java é a linguagem mais propensa a vulnerabilidades de terceiros Wang Chenglu, o pai de Hongmeng: Hongmeng de código aberto é a única inovação arquitetônica. no campo de software básico na China. Ma Huateng e Zhou Hongyi apertam as mãos para "remover rancores". Ex-desenvolvedor da Microsoft: o desempenho do Windows 11 é "ridiculamente ruim" " Embora o que Laoxiangji seja de código aberto não seja o código, as razões por trás disso são muito emocionantes. Meta Llama 3 é lançado oficialmente. Google anuncia uma reestruturação em grande escala.

{{o.nome}}

{{m.nome}}