지난 6월 7B 사전 훈련 기본 모델 출시에 이어 Baichuan Intelligent 팀은 최근 사전 훈련 기본 모델 Baichuan-13B-Base 및 채팅 정렬 모델 Baichuan-13B-Chat을 포함한 최신 13B 모델을 출시하고 지원합니다. 상업적 사용.
지금까지 중국 커뮤니티는 주로 6B-13B 사이의 많은 오픈 소스 모델을 출시했습니다.
그렇다면 Baichuan의 오픈소스 모델은 생성 및 생성, 논리적 추론, 코드 생성 등 ChatGPT3.
중국어 이해력 평가 벤치마크 오픈 소스 커뮤니티 CLUE는 SuperCLUE-Open 평가 벤치마크를 기반으로 합니다.
평가 결과는 다음과 같습니다.
결론적으로
1. 현재 중국어로 된 수백억 개의 매개변수를 가진 최고의 모델입니까?
현재 동일한 규모의 오픈 소스 모델의 경우 Baichuan-13B-Chat이 SuperCLUE 공개 다단계 평가에서 최고의 오픈 소스 모델이라고 믿어집니다.
2. ChatGPT3.5에 가깝나요?
ChatGPT3.5와 비교하여 생성 및 생성, 롤 플레잉, 컨텍스트 대화, 지식 및 백과 사전과 같은 SuperCLUE 개방형 다단계 평가의 공통 작업에서 그 효과는 ChatGPT3.5 및 Claude 기본 버전의 효과에 가깝습니다. 정량 분석 참조) 코드 생성, 수학적 계산, 논리 및 추론과 같은 복잡한 작업에는 여전히 개선의 여지가 많이 있습니다.
다음은 모델의 정량적 관점에서의 평가 분석이다.
정량 분석
- SuperCLUE-Open(공개 다단계 평가):
- SuperCLUE-Open(공개 다단계 평가)의 10대 기능: Baichuan-13B-Chat을 예로 들어
SuperCLUE 개방형 다단계 평가 벤치마크의 상위 10개 기능 평가 중 Baichuan 오픈 소스 대형 모델 Baichuan-13B는 여러 기능(승률로 표시)에서 좋은 성능을 보였고 일부 작업은 상대적으로 개선의 여지가 큽니다.