Llama ha sido aclamado durante mucho tiempo como el modelo grande de código abierto más poderoso en la comunidad de IA. Sin embargo, debido a las restricciones del acuerdo de código abierto, no ha sido gratuito para uso comercial. Sin embargo, todo eso cambió el 19 de julio, cuando Meta finalmente lanzó la tan esperada versión comercial gratuita Llama2. Llama2 es un modelo de lenguaje grande previamente entrenado desarrollado por Meta AI, que puede aceptar cualquier texto en lenguaje natural como entrada y generar salida textual. Llama2-xb-chat es un modelo optimizado basado en Llama2-xb en escenarios de diálogo, que actualmente supera a otros modelos de diálogo de código abierto en la mayoría de los indicadores de evaluación y es comparable a algunos modelos populares de código cerrado (como ChatGPT, PaLM).
introducción oficial
La serie de modelos Llama 2 lanzada por Meta incluye tres versiones de parámetros de 7 mil millones, 13 mil millones y 70 mil millones. Además, también entrenaron una versión de 34 mil millones de parámetros, pero no se publicó, solo se menciona en el informe técnico. Según la introducción oficial, en comparación con su predecesor Llama 1, Llama 2 tiene un 40% más de datos de entrenamiento, duplicó la duración del contexto y adoptó un mecanismo de atención de consultas grupales. Específicamente, el modelo de preentrenamiento de Llama 2 se entrena con 2 billones de tokens, mientras que el modelo de Chat ajustado se entrena con 1 millón de datos etiquetados por humanos.
Los resultados de la evaluación publicados muestran que Llama 2 supera a otros modelos de lenguaje de código abierto en una serie de puntos de referencia externos que incluyen pruebas de inferencia, codificación, competencia y conocimientos.
implementación del modelo
Meta proporciona enlaces de descarga para todos los modelos en Huggingface: https://huggingface.co/meta-llama
modelo previamente entrenado
El modelo de preentrenamiento Llama2 incluye tres versiones: 7B, 13B y 70B
| nombre del modelo | nombre de carga del modelo | enlace de descarga |
|---|---|---|
| Llama2-7B | meta-llama/Llama-2-7b-hf | Descarga del modelo |
| Llama2-13B | meta-llama/Llama-2-13b-hf | Descarga del modelo |
| Llama2-70B | meta-llama/Llama-2-70b-hf | Descarga del modelo |
modelo de chat
El modelo Llama2-Chat está supervisado y ajustado en función del modelo previamente entrenado, que tiene una mayor capacidad de diálogo.
| nombre del modelo | nombre de carga del modelo | enlace de descarga |
|---|---|---|
| Llama2-7B-Chat | meta-llama/Llama-2-7b-chat-hf | Descarga del modelo |
| Llama2-13B-Chat | meta-llama/Llama-2-13b-chat-hf | Descarga del modelo |
| Llama2-70B-Chat | meta-llama/Llama-2-70b-chat-hf | Descarga del modelo |
Plataforma de aprendizaje automático en la nube de Alibaba PAI
La plataforma de aprendizaje automático PAI (Plataforma de Inteligencia Artificial) está dirigida a desarrolladores y clientes empresariales y proporciona aprendizaje automático nativo de la nube, liviano y rentable, que cubre el modelado interactivo PAI-DSW, el modelado visual de arrastrar y soltar PAI-Studio, PAI. - Todo el proceso desde la capacitación distribuida DLC hasta la implementación en línea del modelo PAI-EAS.
Implementación de la plataforma PAI
Hoy en día, la plataforma PAI también es compatible con Llama2-7b, proporcionando imágenes relacionadas que se pueden implementar directamente. Una vez implementado el modelo, los usuarios pueden interactuar directamente con la inferencia del modelo en la página web a través del botón "Ver aplicación web" en la página de detalles del servicio. ¡Experimémoslo!
Una vez completada la implementación:
Vaya a la página web para probarlo:
Además, también se admite el razonamiento directo a través del formulario API, pero debe ir al servicio EAS y actualizar el comando de ejecución del servicio a python api/api_server.py --port=8000 --model-path=<el previamente completado ruta-modelo>. El cuerpo de la solicitud de servicio se ingresa en formato texto/sin formato o formato aplicación/json, y los datos devueltos están en formato texto/html. El siguiente es un formato de ejemplo para enviar una solicitud:
{"input_ids": "List the largest islands which begin with letter 's'.","temperature": 0.8,"max_length": 5120,"top_p": 0.9}
Detalles de la API
La llamada API del modelo LLAMA2 solo se puede utilizar después de pasar la "experiencia de aplicación"; de lo contrario, la llamada API devolverá un código de estado de error. El siguiente ejemplo muestra el código que llama al modelo LLAMA2 para responder a un comando de usuario.
Pitón
# For prerequisites running the following sample, visit https://help.aliyun.com/document_detail/611472.html
from http import HTTPStatus
from dashscope import Generation
def simple_sample():
# 模型可以为模型列表中任一模型
response = Generation.call(model='llama2-7b-chat-v2',
prompt='Hey, are you conscious? Can you talk to me?')
if response.status_code == HTTPStatus.OK:
print('Result is: %s' % response.output)
else:
print('Failed request_id: %s, status_code: %s, code: %s, message:%s' %
(response.request_id, response.status_code, response.code,
response.message))
if __name__ == '__main__':
simple_sample()
respuesta de ejemplo
{"text": "Hey, are you conscious? Can you talk to me?\n[/Inst: Hey, I'm not sure if I'm conscious or not. I can't really feel anything or think very clearly. Can you tell me"}
interfaz de llamada HTTP
curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation' \
--header 'Authorization: Bearer <your-dashscope-api-key>' \
--header 'Content-Type: application/json' \
--data '{
"model": "llama2-7b-v2",
"input":{
"prompt":"Hey, are you conscious? Can you talk to me?"
}
}'
respuesta de ejemplo
{
"output":{
"text":"Hey, are you conscious? Can you talk to me?\nLeaders need to be conscious of what’s going on around them, and not just what’s happening within their own heads.\nThis means listening to your team."
},
"request_id":"fbd7e41a-363c-938a-81be-8ae0f9fbdb3d"
}
A medida que pase el tiempo, se espera que las aplicaciones basadas en el modelo de código abierto Llama2 surjan como hongos en China. Esta tendencia refleja un cambio de la dependencia de tecnologías externas al autodesarrollo, que no sólo satisface nuestras necesidades y objetivos específicos, sino que también evita los riesgos de depender de tecnologías externas. Por lo tanto, estamos más ansiosos por ver el surgimiento de grandes modelos excelentes, independientes y autónomos, que promoverán el desarrollo y el progreso de nuestra tecnología de inteligencia artificial.
El contenido más profundo se resumirá después de un estudio posterior.