메타와 마이크로소프트의 심도 있는 협력을 통해 차세대 오픈소스 대형 언어 모델인 라마 2를 공식 출시 하고 연구 및 상업적 용도로 무료로 사용할 수 있다고 발표했습니다 .
Llama 2 종이 주소: Llama 2: Open Foundation 및 Fine-Tuned Chat Models
보고서에 따르면 Llama 1과 비교하여 Llama 2는 훈련 데이터가 40% 더 많고 컨텍스트 길이는 Llama 1의 두 배이며 그룹 쿼리 어텐션 메커니즘이 채택되었습니다. 구체적으로 Llama 2 사전 훈련 모델은 2조 개의 토큰으로 훈련되고 미세 조정된 Chat 모델은 100만 개의 인간 레이블 데이터로 훈련됩니다.
Meta는 Llama 2가 추론, 코딩, 숙련도 및 지식 테스트를 포함한 여러 외부 벤치마크에서 다른 모델보다 성능이 우수하다고 말합니다.
Llama 2에는 Llama 2와 Llama 2-Chat이 포함되어 있으며 여기에는 70억, 130억 및 700억 매개변수의 3가지 버전이 포함되어 있습니다. 이 중 Llama 2-Chat은 양방향 대화를 위해 미세 조정되었으며 ChatGPT, Llama 2-와 유사합니다. 채팅도 경험했습니다. 사전 훈련 단계(PT), 지침 미세 조정(SFT), 인간 피드백을 통한 강화 학습(RLHF)의 세 단계가 있습니다.
Meta는 Llama 2가 연구 및 상업적 용도로 무료이며 개발자는 Llama 2 공식 웹 사이트에서 직접 모델을 다운로드할 수 있다고 말했습니다.
주소: https://ai.meta.com/resources/models-and-libraries/llama-downloads/
그런데 Llama 2의 라이선스 정책에 따르면 기업의 월 활성 사용자 수가 7억을 초과하면 Meta에 라이선스를 신청해야 합니다 . Meta는 이러한 승인에 엄격한 제한을 둡니다.
Llama 2는 이전 LLaMA 유출로 인한 딥페이크, 포르노 챗봇 등 불량 정보 및 제품의 출현을 방지하기 위해 레드 팀의 테스트를 거쳐 모델에서 불량하고 유해한 콘텐츠를 방지하고 지침 및 지침을 개발했습니다. 개발자를 위한 코드.
최초의 오픈 소스 및 상업적으로 사용 가능한 대형 언어 모델을 출시하려는 Meta의 움직임은 의심할 여지 없이 OpenAI와 Google이라는 두 거대 기업에 대한 힘든 움직임입니다. 결국 OpenAI의 GPT-4와 Google의 PaLM 2는 모두 "기술적 기밀 경로"입니다. Meta의 수석 과학자이자 Turing Award 수상자인 Yann LeCun은 Meta의 움직임이 대규모 모델 산업의 경쟁 구도를 바꿀 수 있다고 믿습니다 .
Microsoft는 Meta, OpenAI,