Face Wall Intelligence は最近、推論機能に重点を置いたオープンソースの大型モデル Eurux-8x22B (Eurux-8x22B-NCA および Eurux-8x22B-KTO を含む) をリリースしました。
公式の紹介文には次のように書かれていました。
有名な Llama3-70B と比較して、Eurux-8x22B は以前にリリースされ、同様の全体的なパフォーマンス、特に強力な推論パフォーマンスを備えています。オープンソースの大規模モデルの SOTA 推論パフォーマンスを刷新しており、オープンソースの中で「サイエンス チャンピオン」と呼ぶことができます。大型モデル。
Eurux-8x22B は、LeetCode (実際の LeetCode プログラミングの質問 180 問) および TheoremQA テストで Llama3-70B を上回り、LeetCode テストではクローズドソースの GPT-3.5-Turbo を上回りました。
レポートによると、Eurux-8x22B モデルのアクティベーション パラメーターは 39B で、64k コンテキストをサポートし、Mixtral-8x22B モデルと整合しており、UltraInteract 整合データ セットでトレーニングされています。
Eurux-8x22B モデル + アライメント データセットはすべてオープン ソースです。
- Eurux-8x22B モデル GitHub アドレス: https://github.com/OpenBMB/Eurus
- Eurux-8x22B モデル HuggingFace アドレス: https://huggingface.co/openbmb/Eurux-8x22b-nca