Llama는 AI 커뮤니티에서 가장 강력한 오픈소스 대형 모델로 오랫동안 호평을 받아왔습니다. 그러나 오픈소스 계약의 제한으로 인해 상업적 이용이 자유롭지 못했습니다. 그러나 Meta가 마침내 오랫동안 기다려온 무료 상용 버전 Llama2를 출시한 7월 19일에 모든 것이 바뀌었습니다. Llama2는 Meta AI가 개발한 사전 훈련된 대규모 언어 모델로, 모든 자연어 텍스트를 입력으로 받아들이고 텍스트 출력을 생성할 수 있습니다. Llama2-xb-chat는 대화 시나리오에서 Llama2-xb를 기반으로 하는 최적화된 모델로, 현재 대부분의 평가 지표에서 다른 오픈 소스 대화 모델을 능가하며 인기 있는 일부 폐쇄 소스 모델(예: ChatGPT, PaLM)과 비교할 수 있습니다.
공식 소개
Meta가 출시한 Llama 2 모델 시리즈에는 70억, 130억, 700억의 세 가지 매개변수 버전이 포함되어 있습니다. 또한 340억 개의 매개변수 버전도 훈련했지만 공개되지 않고 기술 보고서에만 언급되었습니다. 공식 소개에 따르면, Llama 2는 이전 버전인 Llama 1에 비해 훈련 데이터가 40% 더 많고 컨텍스트 길이가 두 배로 늘어났으며 그룹 쿼리 주의 메커니즘을 채택했습니다. 구체적으로 Llama 2 사전 훈련 모델은 2조 개의 토큰에 대해 훈련되는 반면, 미세 조정된 Chat 모델은 사람이 레이블을 붙인 100만 개의 데이터에 대해 훈련됩니다.
공개된 평가 결과에 따르면 Llama 2는 추론, 코딩, 숙련도 및 지식 테스트를 포함한 여러 외부 벤치마크에서 다른 오픈 소스 언어 모델보다 성능이 뛰어난 것으로 나타났습니다.
모델 배포
Meta는 Huggingface의 모든 모델에 대한 다운로드 링크를 제공합니다: https://huggingface.co/meta-llama
사전 훈련된 모델
Llama2 사전 훈련 모델에는 7B, 13B 및 70B의 세 가지 버전이 포함되어 있습니다.
| 모델명 | 모델 로드 이름 | 다운로드 링크 |
|---|---|---|
| 라마2-7B | 메타-라마/Llama-2-7b-hf | 모델 다운로드 |
| 라마2-13B | 메타-라마/Llama-2-13b-hf | 모델 다운로드 |
| 라마2-70B | 메타-라마/Llama-2-70b-hf | 모델 다운로드 |
채팅 모델
Llama2-Chat 모델은 사전 훈련된 모델을 기반으로 감독되고 미세 조정되어 대화 능력이 더 뛰어납니다.
| 모델명 | 모델 로드 이름 | 다운로드 링크 |
|---|---|---|
| Llama2-7B-채팅 | 메타-라마/Llama-2-7b-chat-hf | 모델 다운로드 |
| Llama2-13B-채팅 | 메타-라마/Llama-2-13b-chat-hf | 모델 다운로드 |
| Llama2-70B-채팅 | 메타-라마/Llama-2-70b-chat-hf | 모델 다운로드 |
Alibaba Cloud 머신러닝 플랫폼 PAI
기계 학습 플랫폼 PAI(Platform of Artificial Intelligence)는 기업 고객과 개발자를 대상으로 하며 PAI-DSW 대화형 모델링, PAI-Studio 드래그 앤 드롭 시각적 모델링, PAI를 포함하여 가볍고 비용 효율적인 클라우드 기반 기계 학습을 제공합니다. - DLC 분산 교육부터 PAI-EAS 모델 온라인 배포까지의 전체 과정입니다.
PAI 플랫폼 배포
현재 PAI 플랫폼은 Llama2-7b도 지원하여 직접 배포할 수 있는 관련 이미지를 제공합니다. 모델이 배포된 후 사용자는 서비스 세부 정보 페이지의 "웹 애플리케이션 보기" 버튼을 통해 웹 페이지에서 모델 추론과 직접 상호 작용할 수 있습니다. 경험해보자!
배포가 완료된 후:
테스트하려면 웹페이지로 이동하세요.
또한, API 형태를 통한 직접적인 추론도 지원되는데, EAS 서비스로 가서 서비스 실행 명령을 python api/api_server.py --port=8000 --model-path=<이전에 입력한 내용으로 업데이트해야 합니다. 모델 경로>. 서비스 요청 본문은 text/plain 형식이나 application/json 형식으로 입력되며, 반환되는 데이터는 text/html 형식입니다. 다음은 요청을 보내는 형식의 예입니다.
{"input_ids": "List the largest islands which begin with letter 's'.","temperature": 0.8,"max_length": 5120,"top_p": 0.9}
API 세부정보
LLAMA2 모델 API 호출은 "응용 프로그램 경험"을 통과한 후에만 사용할 수 있습니다. 그렇지 않으면 API 호출이 오류 상태 코드를 반환합니다. 다음 예에서는 LLAMA2 모델을 호출하여 사용자 명령에 응답하는 코드를 보여줍니다.
파이썬
# For prerequisites running the following sample, visit https://help.aliyun.com/document_detail/611472.html
from http import HTTPStatus
from dashscope import Generation
def simple_sample():
# 模型可以为模型列表中任一模型
response = Generation.call(model='llama2-7b-chat-v2',
prompt='Hey, are you conscious? Can you talk to me?')
if response.status_code == HTTPStatus.OK:
print('Result is: %s' % response.output)
else:
print('Failed request_id: %s, status_code: %s, code: %s, message:%s' %
(response.request_id, response.status_code, response.code,
response.message))
if __name__ == '__main__':
simple_sample()
예시 응답
{"text": "Hey, are you conscious? Can you talk to me?\n[/Inst: Hey, I'm not sure if I'm conscious or not. I can't really feel anything or think very clearly. Can you tell me"}
HTTP 호출 인터페이스
curl --location 'https://dashscope.aliyuncs.com/api/v1/services/aigc/text-generation/generation' \
--header 'Authorization: Bearer <your-dashscope-api-key>' \
--header 'Content-Type: application/json' \
--data '{
"model": "llama2-7b-v2",
"input":{
"prompt":"Hey, are you conscious? Can you talk to me?"
}
}'
예시 응답
{
"output":{
"text":"Hey, are you conscious? Can you talk to me?\nLeaders need to be conscious of what’s going on around them, and not just what’s happening within their own heads.\nThis means listening to your team."
},
"request_id":"fbd7e41a-363c-938a-81be-8ae0f9fbdb3d"
}
시간이 지남에 따라 Llama2 오픈 소스 모델을 기반으로 한 애플리케이션이 중국에서 버섯처럼 생겨날 것으로 예상됩니다. 이러한 추세는 외부 기술에 의존하는 것에서 우리의 특정 요구와 목표를 충족할 뿐만 아니라 외부 기술에 의존하는 위험을 피하는 자기 개발로의 전환을 반영합니다. 따라서 우리 AI 기술의 발전과 발전을 촉진할 우수하고 독립적이며 자율적인 대형 모델의 등장이 더욱 기대됩니다.
보다 심층적인 내용은 후속 연구 후에 요약될 예정입니다.