학자·PuYu 대형 모델 풀링크 오픈소스 오픈 시스템

대형 모델이 인기 키워드가 되다

대형 모델은 일반 인공지능을 개발하는 중요한 방법이 되었습니다.

Shusheng·Puyu 대형 모델의 오픈소스 역사

학자 Puyu 20B 오픈 소스 대형 모델 성능

• 유사한 규모의 포괄적인 선도적인 오픈소스 모델(Llama-33B, Llama2-13B 및 국내 주류인 7B 및 13B 오픈소스 모델 포함)
• 매개변수의 1/3 미만으로 Llama2-70B 레벨에 도달
  

모델에서 애플리케이션까지

학자·PuYu 풀링크 오픈소스 오픈 시스템

데이터

총 데이터 볼륨 2TB
에는 다음이 포함됩니다.

• 텍스트 데이터 50억 개의 문서
• 이미지-텍스트 데이터세트 2,200만 개 파일
• 비디오 데이터가 1000개 파일을 초과합니다.
  

사전 훈련

미세 조정

• 증분 훈련
  • 수직 도메인 지식 기사, 서적, 코드 등
• 감독된 미세 조정
  • 고품질의 대화 및 질의응답 데이터
    

검토

80개 이상의 평가 세트와 400,000개 이상의 평가 질문을 갖춘 6가지 주요 차원의 OpenCompass 평가 시스템 제안

배포

대리인

제한사항:

• 최신 정보와 지식에 접근
• 응답의 신뢰성
• 수학적 계산
• 도구 사용 및 상호 작용