Meta と Microsoft の緊密な協力により、次世代オープンソースの大規模言語モデル Llama 2が正式にリリースされ、研究および商用利用が無料であることが発表されました。
Llama 2 の論文アドレス: Llama 2: Open Foundation and Fine-Tuned Chat Models
報告によると、ラマ 1 と比較して、ラマ 2 には 40% 多くのトレーニング データがあり、コンテキストの長さはラマ 1 の 2 倍であり、グループ クエリ アテンション メカニズムが採用されています。具体的には、Llama 2 の事前トレーニング済みモデルは 2 兆個のトークンでトレーニングされ、微調整されたチャット モデルは人間がラベル付けした 100 万個のデータでトレーニングされています。
メタ氏によると、Llama 2は、推論、コーディング、熟練度、知識テストなど、多くの外部ベンチマークにおいて他のモデルよりも優れた性能を発揮しているという。
Llama 2 には、70 億、130 億、700 億のパラメータの 3 つのバージョンを含む Llama 2 と Llama 2-Chat が含まれています。Llama 2-Chat は双方向対話用に微調整されており、ChatGPT と同様に、Llama 2-Chat も事前トレーニング段階 (PT)、命令微調整 (SFT)、およびヒューマン フィードバック強化学習 (RLHF) の 3 段階を経ています。
Meta氏によると、Llama 2は研究および商用利用には無料で、開発者はLlama 2の公式Webサイトからモデルを直接ダウンロードできるという。
アドレス: https://ai.meta.com/resources/models-and-libraries/llama-downloads/
ところで、Llama 2 のライセンス ポリシーによれば、企業の月間アクティブ ユーザー数が 7 億人を超える場合、Meta からライセンスを申請する必要があります。メタは、そのような承認に厳しい制限を設けます。
前回の LLaMA 漏洩によって引き起こされたディープフェイクやポルノチャットボットなどの悪い情報や製品の出現を防ぐために、Llama 2 はモデルから悪いコンテンツや有害なコンテンツを回避するためにレッドチームによってテストされ、開発者向けのガイドラインとルールを開発しました。
初のオープンソースで商用利用可能な大規模言語モデルをリリースするという Meta の動きは、OpenAI と Google の 2 つの巨人に対して厳しい動きであることは間違いありません。結局のところ、OpenAIのGPT-4とGoogleのPaLM 2は、どちらも「技術的機密ルート」です。Meta の主任科学者でチューリング賞受賞者のヤン・ルカン氏は、 Meta の動きによって大型模型業界の競争環境が変わる可能性があると考えています。
ザッカーバーグ氏はまた、 Facebookに「メタにはオープンソースの長い歴史があり、オープンソースはイノベーションを推進し、より多くの開発者が新しいテクノロジーを使って開発できるようにすると同時に、テクノロジーのセキュリティを向上させることができる。エコシステムがよりオープンになれば、より多くの進歩がもたらされると信じている。そのため、Llama 2をオープンソースにするのである。」と投稿した。
とはいえ、現在マイクロソフトは左にMeta、右にOpenAIを抱えているが、これはまさに二隻の船に乗るのが正しいやり方ではないだろうか。
