권장사항: NSDT 장면 편집기를 사용하여 3D 애플리케이션 장면을 빠르게 구축하세요.
소개하다
LLM(대형 언어 모델) 분야에서는 효율성을 저하시키지 않으면서 소형 모델의 기능을 향상시키기 위한 지속적인 노력이 진행되고 있습니다. 전통적인 접근 방식은 모방 학습을 사용하는 것입니다. 여기서는 작은 모델이 LFM(대형 기본 모델)에서 생성된 출력을 학습합니다. 그러나 이 접근 방식은 얕은 LFM 출력의 제한된 모방 신호, 소규모의 균일한 훈련 데이터, 엄격한 평가 부족 등 여러 가지 문제로 인해 손상되었습니다. 이로 인해 추론 프로세스가 아닌 LFM 스타일을 모방하는 더 작은 모델이 생성되는 경우가 많습니다.
Orca: GPT-4의 복잡한 해석 추적을 통한 점진적 학습 논문에서는 GPT-4와 같은 LFM(대형 기본 모델)의 추론 프로세스를 모방하도록 설계된 13억 매개변수 모델인 Orca를 소개합니다. 기존의 대규모 언어 모델(LLM)과 달리 Orca는 점진적인 학습과 교사 지원을 결합하여 소규모 학생 모델과 대규모 학생 모델 간의 역량 격차를 극복하는 고유한 교육 접근 방식을 사용합니다.
훈련 방법
범고래 훈련 과정은 두 단계로 구성됩니다.
첫 번째 단계에서 범고래는 ChatGPT 개선 사항이 포함된 FLAN-5M에 대한 교육을 받았습니다. 이 중간 수준 TA는 매개변수 크기가 훨씬 더 큰 Orca와 GPT-4 사이의 용량 격차를 해소하는 데 도움이 됩니다. ChatGPT의 기능을 활용함으로써 Orca는 향상된 모방 학습 성능의 이점을 누릴 수 있습니다.
두 번째 단계에서 범고래들은 GPT-4 개선 사항이 포함된 FLAN-1M에 대한 교육을 받았습니다. 이러한 점진적인 학습 접근 방식은 학생들이 보다 어려운 사례로 넘어가기 전에 간단한 사례를 통해 학습하는 커리큘럼 학습 패러다임을 따릅니다. 점점 더 복잡해지는 추론과 단계별 설명에 범고래를 점차적으로 노출시킴으로써 모델은 범고래의 추론 및 모방 능력을 향상시켰습니다.
장점과 기여
Orca의 교육 방법은 기존 LLM에 비해 몇 가지 장점이 있습니다.
첫째, 중간 수준의 교사 모델을 활용하여 Orca가 더 유능한 소스로부터 학습할 수 있도록 함으로써 역량 격차 문제를 해결합니다. 이 접근 방식은 소규모 학생 모델의 모방 학습 성능을 향상시키는 것으로 나타났습니다.
둘째, Orca 훈련의 점진적인 학습 측면을 통해 모델은 점차적으로 지식을 구축할 수 있습니다. Orca는 간단한 예부터 시작하여 점점 더 복잡한 예를 도입함으로써 추론 및 설명 생성을 위한 강력한 기반을 구축합니다.
또한 GPT-4와 같은 LFM의 추론 프로세스를 모방하는 Orca의 기능은 다양한 작업에서 성능을 향상시킬 수 있는 가능성을 열어줍니다. Orca는 GPT-4의 해석적 궤적과 단계별 사고 과정이 제공하는 풍부한 신호를 활용하여 귀중한 통찰력을 얻고 역량을 향상시켰습니다.
성능 벤치마크
Orca는 복잡한 제로샷 추론 벤치마크에서 좋은 성능을 발휘합니다. BBH(Big-Bench Hard)와 같은 벤치마크에서는 Vicuna-13B와 같은 기존의 최첨단 명령 조정 모델보다 100% 이상, AGIEval에서는 42% 이상 성능이 뛰어납니다. 또한 Orca는 BBH 벤치마크에서 ChatGPT와 동일한 점수를 달성했으며 SAT, LSAT, GRE, GMAT와 같은 전문 및 학술 시험에서 경쟁력 있는 성능을 보여주었습니다. 이는 마인드체인이 없는 제로샷 설정이라는 점을 고려하면 특히 인상적이며 Orca는 GPT-4에 뒤처져 있으면서도 여전히 경쟁력이 있습니다.
영향 및 향후 방향
Orcas의 개발은 LLM 분야의 중요한 발전을 의미합니다. 풍부한 신호로부터 학습하고 LFM의 추론 프로세스를 모방함으로써 Orca는 높은 정확도로 복잡한 추론 작업을 수행할 수 있습니다. 이는 특히 복잡한 추론과 문제 해결이 필요한 영역에서 광범위한 의미를 갖습니다.
또한, 본 연구는 단계별 AI 모델 설명을 통해 학습하는 것이 모델 역량을 향상시키는 유망한 방향임을 보여줍니다. 이는 LL.M. 분야의 연구 및 개발을 위한 새로운 길을 열어줍니다.
결론적으로
Orca는 모방 학습을 향상시키기 위해 점진적 학습과 교사 지원을 결합하는 대규모 언어 모델을 훈련하는 새로운 방법을 제안합니다. Orca는 중간 수준의 교사 모델을 활용하고 점차적으로 학생 모델을 보다 복잡한 예에 노출시킴으로써 역량 격차를 극복하고 추론 및 설명 생성 능력을 향상시킵니다. 이 논문의 발견은 모방 학습 기술의 발전에 기여하고 미래 언어 모델 개발에 영향을 미칩니다.