Llama 2 with langchain プロジェクトの詳細説明 (1)
2023 年 2 月 25 日、アメリカの Meta 社は Llama 1 オープンソース モデルをリリースしました。その後、2023 年 7 月 18 日に、Meta Corporation は Llama 2 オープンソースの大規模モデルをリリースしました。これには、70 億、130 億、700 億の異なるパラメーター スケールのモデルが含まれています。ラマ 1 と比較して、ラマ 2 のトレーニング データは 40% 増加し、コンテキストの長さはラマ 1 の 2 倍の 4096 に増加し、グループ クエリ アテンション メカニズムが導入されました。具体的には、図 17-1 に示すように、Llama 2 の大規模モデルは 2 兆のラベルでトレーニングされ、人間が注釈を付けた 100 万のデータを使用して微調整されました。
図 17-1 Llama 2 モデルと Llama 1 モデルの比較
評価結果によると、図 17-2 に示すように、推論、コーディング、知識テストを含む多くの外部ベンチマークにおいて、Llama 2 が他のオープンソース言語モデルよりも優れています。ギャビンの WeChat アカウント: NLP_Matrix_Space
図 17-2 Llama 2 ベンチマークの比較
図 17-3 に示すように、同じパラメータの大きさの大規模モデルと比較すると、ほとんどの場合、Llama 2 が勝利します。ギャビンの WeChat アカウント: NLP_Matrix_Space
図 17-3 Llama 2 と、図 17-4& に示す同じパラメータの大きさの大規模モデルとの比較