Ejecución de modelos a gran escala de Llama 3 en un entorno local: una guía práctica y de viabilidad

llama3.png

Introducción:

Llama es un modelo de lenguaje grande (LLM) desarrollado y de código abierto por el equipo de investigación de inteligencia artificial de Meta (anteriormente Facebook). Está abierto para uso comercial y ha tenido un profundo impacto en todo el campo de la inteligencia artificial. Siguiendo el modelo Llama 2 lanzado anteriormente que admite 4096 contextos, Meta lanzó además la serie Meta Llama 3 de modelos de lenguaje con mejor rendimiento, incluido un modelo 8B (8 mil millones de parámetros) y un modelo 70B (70 mil millones de parámetros). El rendimiento del Llama 3 70B es comparable al Gemini 1.5 Pro y supera al Claude Big Cup en todos los aspectos, mientras que se espera que el modelo 400B+ compita con el Claude Extra Large Cup y el nuevo GPT-4 Turbo.

En varias pruebas, los modelos de la serie Llama 3 han demostrado su rendimiento superior. Son comparables a otros modelos de código cerrado populares en el mercado en términos de practicidad y evaluación de seguridad, e incluso los superan en algunos aspectos. El lanzamiento de la serie Meta Llama 3 no sólo consolida su posición competitiva en el campo de los modelos lingüísticos a gran escala, sino que también proporciona a investigadores, desarrolladores y empresas potentes herramientas para promover un mayor desarrollo de la comprensión del lenguaje y la tecnología de generación.

dirección del proyecto:

https://github.com/meta-llama/llama3

Diferencias entre llama2 y llama3

llama3and3diff.webp

Diferencias entre llama3 y GPT4

índice Llama 3 GPT-4
Tamaño del modelo 70B、400B+ 100B, 175B, 500B
Tipo de parámetro Transformador Transformador
objetivos de entrenamiento Modelado de lenguaje enmascarado, perplejidad Modelado de lenguaje enmascarado, perplejidad
datos de entrenamiento Libros, WebText Libros, WebText
actuación SOTA (preguntas y respuestas, resumen de texto, traducción automática, etc.) SOTA (preguntas y respuestas, resumen de texto, traducción automática, etc.)
Fuente abierta No

Lo más destacado de Llama 3

  • Abierto a todos: Meta hace accesible la tecnología de inteligencia artificial de vanguardia mediante el código abierto de una versión liviana de Llama 3. Si eres un desarrollador, investigador o un amigo que siente curiosidad por la tecnología de IA, puedes explorar, crear y experimentar libremente. Llama 3 proporciona una API fácil de usar para investigadores y desarrolladores.

  • Escala de modelo grande: la escala de parámetros del modelo Llama 3 400B+ ha alcanzado los 400 mil millones, que es un modelo de lenguaje grande.

  • Pronto se integrará en varias aplicaciones: Llama 3 actualmente cuenta con Meta AI, dirección de experiencia Meta AI: https://www.meta.ai/

llama3-pre-entrenado.png

llama3-8b-70b.webp

llama3-15T-tokens.png

Usando Ollama en Windows, ejecutando el modelo Llama3

Visite la página https://ollama.com/download/windows para descargar OllamaSetup.exeel programa de instalación.

Después de la instalación, seleccione los parámetros del modelo correspondientes para la instalación de acuerdo con la configuración de su computadora (se requieren al menos 8 GB de memoria para ejecutar 7B y al menos 16 GB de memoria para ejecutar 13B)

Lo que estoy ejecutando aquí es Llama3:8b. Se puede ver que todavía hay algunos problemas con el chino.

ollama3.png

Modelo Parámetros Tamaño Descargar
Llama 3 8B 4,7GB ollama run llama3
Llama 3 70B 40GB ollama run llama3:70b
Mistral 7B 4,1GB ollama run mistral
delfín phi 2,7 mil millones 1,6 GB ollama run dolphin-phi
fi-2 2,7 mil millones 1,7 GB ollama run phi
Chat neuronal 7B 4,1GB ollama run neural-chat
Estornino 7B 4,1GB ollama run starling-lm
Code Llama 7B 3,8 GB ollama run codellama
llama 2 sin censura 7B 3,8 GB ollama run llama2-uncensored
Llama 2 13B 13B 7,3GB ollama run llama2:13b
Llama 2 70B 70B 39GB ollama run llama2:70b
Orca Mini 3B 1,9GB ollama run orca-mini
la lava 7B 4,5GB ollama run llava
Gema 2B 1,4 GB ollama run gemma:2b
Gema 7B 4,8GB ollama run gemma:7b
Solar 10,7 mil millones 6,1GB ollama run solar

Usar la cara abrazadora

Visita: https://huggingface.co/chat/ y cambiaModels

Uso replicado

Modelo 8B: https://replicate.com/meta/meta-llama-3-8b

Modelo 70B: https://replicate.com/meta/meta-llama-3-70b

Este artículo es una reimpresión del artículo Heng Xiaopai y los derechos de autor pertenecen al autor original. Se recomienda visitar el texto original. Para reimprimir este artículo, comuníquese con el autor original.

Linus tomó el asunto en sus propias manos para evitar que los desarrolladores del kernel reemplacen las pestañas con espacios. Su padre es uno de los pocos líderes que puede escribir código, su segundo hijo es el director del departamento de tecnología de código abierto y su hijo menor es un núcleo. Colaborador de código abierto Huawei: tomó 1 año convertir 5000 aplicaciones móviles de uso común Migración completa a Hongmeng Java es el lenguaje más propenso a vulnerabilidades de terceros Wang Chenglu, el padre de Hongmeng: el código abierto Hongmeng es la única innovación arquitectónica. En el campo del software básico en China, Ma Huateng y Zhou Hongyi se dan la mano para "eliminar rencores". Ex desarrollador de Microsoft: el rendimiento de Windows 11 es "ridículamente malo " " Aunque lo que Laoxiangji es de código abierto no es el código, las razones detrás de él. Son muy conmovedores. Meta Llama 3 se lanza oficialmente. Google anuncia una reestructuración a gran escala.
{{o.nombre}}
{{m.nombre}}

Supongo que te gusta

Origin my.oschina.net/u/6851747/blog/11054408
Recomendado
Clasificación