今回MetaがリリースしたLlama 2モデルシリーズには、70億、130億、700億の3つのパラメータバリエーションが含まれています。さらに、340 億のパラメーター バリアントがトレーニングされましたが、それらはリリースされず、技術レポートでのみ言及されました。
レポートによると、Llama 1 と比較して、Llama 2 にはトレーニング データが 40% 増加し、コンテキストの長さが 2 倍になり、グループ クエリ アテンション メカニズムが採用されています。具体的には、Llama 2 の事前トレーニング済みモデルは 2 兆個のトークンでトレーニングされ、微調整されたチャット モデルは人間がラベル付けした 100 万個のデータでトレーニングされました。
公開された評価結果によると、Llama 2 は、推論、コーディング、習熟度、知識テストなどの多くの外部ベンチマークにおいて、他のオープンソース言語モデルよりも優れたパフォーマンスを示しています。
プロジェクトの指示
このプロジェクトはウェブマスターによってテストが繰り返されています。Llama2 は送信した中国語を理解できますが、返信を出力する際は抽選返信になります。低確率で中国語で返信されますが、通常は英語なので、そうではない可能性があります使いやすい。
プロジェクト関連
プロジェクトアドレス: facebookresearch/llama: LLaMA モデルの推論コード (github.com)
論文アドレス: Llama 2: Open Foundation and Fine-Tuned Chat Models | Meta AI Research
インストールチュートリアル
もともと、ウェブマスターは非常に長いチュートリアルを書き、ほぼ完成しました。しかし、突然、これらのオープンソース言語モデルは非常に多様で面倒だと思い、解決策を探し始めました。
長い間苦労した後、私は本当に解決策を見つけました。