2023年7月19日、MetaAIはLLama2大型モデルをオープンソース化すると発表したが、Metaの主任科学者でチューリング賞受賞者のヤン・ルカン氏はTwitterで、Metaの動きは大型モデル業界の競争環境を変える可能性があると述べた。一夜にして、大型モデルの状況は再び劇的に変化しました。
LLama とは異なり、LLama2 は商用利用が無料です。
LLama2 の機能は GPT-3 ～ GPT-3.5 であり、データ プライバシーを重視する企業に最適です。
LLama2 は現在中国語をサポートしていませんが、国内のオープンソース大型モデル愛好家が中国語モデルをトレーニングしており、オリジナルのモデルと完全な互換性があるため、ご安心ください。
中国語版 Llama2 モデルリンク: https://github.com/LinkSoul-AI/ Chinese-Llama-2-7b
中国語版の問題は解決されましたが、今度は別の問題が発生しています。多くの友人は GPU を持っていないので、CPU 上で実行できれば素晴らしいでしょう。
問題はそれほど大きくありません。GGML 機械学習テンソル ライブラリを使用して、CPU 上で実行される中国語バージョンのモデルを構築できます。これは、llama.cpp の背後にあるコア テクノロジでもあります。
公式リポジトリには、変換手順も記載されています。
面倒なのでもっと簡単にできないでしょうか？
できる！
一部のコミュニティ パートナーはモデルを変換して Hugging Face にアップロードしました。直接使用してみましょう: https://huggingface.co/soulteary/ Chinese-Llama-2-7b-ggml-q4
ご存知のとおり、ほとんどの海外 Web サイトに国内からアクセスするには魔法が必要ですが、Hugging Face も例外ではありません。魔法を持っていない生徒にとって、もっと簡単な方法はないでしょうか?
できる！
次のリンクから、テキスト生成 Web UIのアプリケーション デプロイメント テンプレートを直接開きます。
あとは「アプリケーションのデプロイ」をクリックするだけで完了ですので、非常にシンプルで無駄な操作はありません。
テキスト生成Web UI
大規模な言語モデル ランチャーであるテキスト生成 Web UI を紹介します。その最終目標は、AI 対話の分野で安定した拡散 WebUI のベンチマークを行うことです。GitHub からの原文を引用します。
LLaMA、llama.cpp、GPT-J、OPT、GALACTICA などの大規模言語モデルを実行するための gradio Web UI。
その目標は、テキスト生成のAUTOMATIC1111/stable-diffusion-webuiになることです。
ほぼすべての主流モデル (llama.cpp モデルをサポート) をロードし、ローカルで実行できます。言語モデルで何ができるかを体験でき、ChatGPTのオフライン版として利用できます。ChatGPT の国内検閲の問題と情報漏洩のリスクと相まって、カスタマイズされたローカル モデルはほぼ無限の可能性を提供します。
API を介した呼び出しもサポートしており、任意のシェル GPT アプリケーションに接続できるOpenAI の API とのプラグイン調整も提供していることは言及する価値があります。
上記のアプリケーション テンプレートは、テキスト生成 Web UI をデプロイするために使用されます。
Sealos国内クラスター
Sealos は今年 6 月に海外クラスター ( https://cloud.sealos.io ) を正式に立ち上げ、国内ユーザーにも開放されていますが、コンピューター室はシンガポールにあり、一部の国内回線は不便です。国内ユーザーの多くは特別なニーズがあり、魔法を使わなければなりませんが、海外クラスターはそのニーズを満たすだけでよく、回線が自国に優しいかどうかはそれほど重要ではありません。
しかし、国内ユーザーの多くは回線の安定性を確保する必要があり、海外クラスタの利用では少々不十分です。この度、国内ユーザーのニーズに応えるため、海外クラスタと同等の機能を備えた国内クラスタ（ https://cloud.sealos.top ）を正式に開始しました。さらに、国内クラスターには、共有ストレージを介して主流の大規模モデル ファイルをロードするという新しい機能も追加されました(現在は LLama2 中国語モデルのみがロードされます)。上記のアプリケーション テンプレートは、ワンクリックでテキスト生成 Web UI を展開し、大規模モデルの共有ストレージを自動的にマウントします。もう一度見直してみましょう:
まず、次のリンクからテキスト生成 Web UI のアプリケーション デプロイメント テンプレートを直接開きます。
次に、[アプリケーションのデプロイ] を直接クリックします。デプロイが完了したら、アプリケーションの詳細ページに移動します。外部ネットワーク アドレスをクリックして、テキスト生成 Web UI の Web インターフェイスを開きます。
モデル選択インターフェイスに入ると、現在 LLama2 中国語モデルのみが利用可能であることがわかります。
他の大きなモデルが必要な場合は、QR コードをスキャンしてご連絡ください。必要な大きなモデルを共有ストレージに追加するお手伝いをいたします。
最後に、テストしてみましょう:
応答速度も悪くなく、やはり8コアCPUを搭載しているので一人でプレイする分には問題ありません。より高いパフォーマンス要件がある場合は、間もなく GPU クラスターを起動する予定ですので、ご期待ください。
これらの大規模なオープンソース モデルがもたらす利便性を享受しながら、データ セキュリティとプライバシー保護を無視せず、オープンソース モデルを合理的に利用し、法令を遵守し、健全で秩序ある AI 技術開発環境を共同で維持してください。