이 문서는 Google 연구원이 실수로 유출한 Google 내부 문서에서 가져온 것입니다. 그는 자신의 기사에서 몇 가지 흥미로운 점을 지적하지만 이는 Google이 아닌 자신의 것이며 다른 많은 연구자들은 이에 동의하지 않습니다.
원본: https://www.semianalysis.com/p/google-we-have-no-moat-and-neither
Google 직원은 현재 AI 군비 경쟁에서 Open Source AI가 Google과 OpenAI를 능가하고 가장 큰 승자가 될 것이라고 주장했습니다. 그는 또한 Google이 AI 분야에서 해자가 없으며 OpenAI도 마찬가지라고 믿습니다.
이 문서는 올해 3월 초 Meta의 대규모 언어 모델 LLaMA가 유출된 후 오픈 소스 커뮤니티가 진정으로 유능한 기본 모델을 처음으로 얻었다고 언급했습니다. LLaMA에는 지침이나 대화 조정, RLHF가 없지만 그 중요성은 커뮤니티에서 깊이 인식하고 있습니다. 엄청난 혁신이 뒤따랐고, 불과 한 달 후에 명령 조정, 양자화, 품질 개선, 인간 평가, 다중 양식, RLHF 등을 포함하는 LLaMA의 변형이 나타났습니다.
대기업 모델은 여전히 품질면에서 약간 우위에 있지만 그 격차는 놀라운 속도로 좁혀지고 있습니다. 오픈 소스 모델은 더 빠르고, 심층적인 사용자 정의를 지원하고, 개인 정보 보호에 더 민감하고, 더 강력합니다. 오픈 소스 모델을 기반으로 개발자는 100달러와 13B의 매개변수를 사용하여 요구 사항을 달성할 수 있는 반면 대기업은 1000만 달러와 5400억의 매개변수로 어려움을 겪고 있습니다. 몇 달이 아니라 몇 주 안에 작업을 완료할 수 있다는 것은 말할 것도 없습니다.
즉, 큰 언어 모델에는 "비밀 무기"가 없습니다. 매개 변수가 너무 많은 큰 모델은 끌림을 유발합니다. 최고의 모델은 빠르게 반복할 수 있습니다. 연구원은 오픈 소스 모델로 개발에 집중하는 것이 바퀴를 재발명하는 것을 피하는 데 도움이 된다고 믿습니다.
"오픈 소스" LLaMA가 Meta에서 나왔기 때문에 연구원은 Meta가 전 세계 프로그래머의 무료 노동력을 얻는 이 AI 경쟁에서 가장 큰 수혜자 중 하나라고 믿습니다. 대부분의 오픈 소스 AI 혁신은 아키텍처 위에서 발생하기 때문에 Meta가 이러한 노력을 제품에 직접 통합하는 것을 막을 수는 없습니다.
구글이 크롬, 안드로이드 등 오픈소스 제품에서 패러다임을 성공적으로 활용한 것과 같은 상황이다. 그 자체로 크게 생각하는 능력.
OpenAI는 오픈 소스 AI에 대한 태도에서 Google과 같은 실수를 저질렀고 상대적으로 폐쇄적인 정책을 채택했지만 해자를 구축하는 데 도움이 되지 않는다고 볼 수 있습니다.