みなさんこんにちは、ヒーローサンリーです。985 カレッジで修士号を取得し、現在はアルゴリズム研究者として働いており、機械学習アルゴリズムの研究と応用に熱心に取り組んでいます。彼は阿里雲天池大会で優勝、CCF大会で2位、HKUST Xunfei大会で3位を獲得した。多数の発明特許を保有。機械学習と深層学習について独自の洞察を持ってください。私は、コンピューターを専攻していない何人かをアルゴリズム業界に就職するよう指導してきました。皆様と一緒に成長、進歩していきたいと考えております。
今日紹介するのは、Baidu Smart Cloud: Qianfan ラージ モデル プラットフォームは、Llama 2 など 33 個のラージ モデルに接続されており、103 個のプロンプト テンプレートはオンラインです。ラージ言語モデルを学習している学生に役立つことを願っています。
記事ディレクトリ
1 はじめに
8月2日、Baidu Smart Cloudは、Qianfan大規模モデルプラットフォームが2つの主要機能のアップグレードに焦点を当てた新たなアップグレードラウンドを完了したと発表した。
最初のメジャー アップグレードは、Qianfan 大規模モデル プラットフォームが、 Llama 2、ChatGLM2-6B、RWKV-4-World、MPT-7B-Instruct、Falcon の全シリーズを含む33 の大規模モデルへのフル アクセスを実現したことです。 7Bなど これにより、Baidu Smart Cloud は中国で最も大規模なモデルを備えたプラットフォームの 1 つになりました。Qianfan プラットフォームの二次的なパフォーマンス強化により、上記のモデルの推論コストを最大 50% 削減できます。第二に、Qianfan 大型モデル プラットフォームのもう 1 つの重要なアップグレードは、合計 103 のテンプレートをカバーする、中国で最も包括的なプリセット プロンプト テンプレートの導入に反映されています。これらのテンプレートは、対話、ゲーム、プログラミング、文章作成など 10 を超えるシナリオに適しており、より包括的で多様な選択肢をユーザーに提供します。
Qianfan大型モデルプラットフォームとは何ですか? Baidu Smart Cloud によって開始された世界初のワンストップのエンタープライズレベルの大規模モデル プラットフォームであり、Qianfan 大規模モデル プラットフォームは、Wenxin Yiyan やサードパーティの大規模モデル サービスを含む大規模モデル サービスを提供するだけでなく、大規模モデル開発およびアプリケーション ツール チェーンは、企業が大規模モデル開発およびアプリケーションのプロセスで遭遇するさまざまな問題を解決できるように設計されています。この完全なツール チェーン セットの導入により、企業は大規模モデルの可能性を最大限に活用し、より効率的な開発とアプリケーションを達成できるようにするための包括的なサポートが提供されます。モデルのトレーニング段階であっても推論段階であっても、Qianfan 大規模モデル プラットフォームは、企業のニーズを最大限に満たし、起こり得る課題の克服を支援する豊富な機能とツールを提供します。
Baidu Smart Cloud によると、Qianfan 大規模モデル プラットフォームのアップグレードは、企業や開発者により柔軟で多様かつ効率的な大規模モデル サービスを提供することを目的としています。お客様は、自社のビジネス ニーズに応じて最適な大規模モデルを選択し、Qianfan プラットフォームが提供する完全なツール チェーンを使用してモデルの再トレーニングや命令の微調整などの操作を実行し、専用の大規模モデルを作成できます。高効率かつ低コストで企業を支援します。さらに、Qianfan プラットフォームには巨大なプロンプト テンプレート ライブラリもあり、大規模なモデル コンテンツの精度とユーザーの満足度を向上させることができます。上記の改善により、企業と開発者はユーザーのニーズをより適切に満たし、ビジネス効率を向上させ、より正確な大規模モデル出力を実現できます。
2. 大規模で包括的かつ継続的に進化する大規模言語モデル プラットフォーム
オープンソースの大規模モデル テクノロジとエコロジーの継続的な開発により、さまざまな大規模言語モデルが雨後の筍のように出現しました。ただし、モデルごとに独自の強みがあるため、特定の業界背景やビジネス シナリオに応じてモデルの評価とモデルの選択を行うことが重要です。
モデルの選択の過程で、Wenxin の大型モデルは不可欠です。Baiduがリリースした産業レベルの知識を強化した大規模モデルで、IDCが発表した最新の「AI大規模モデル技術能力評価報告書2023年」によると、Wenxin大規模モデルは「初の総合評価」を獲得した。スコア、初のアルゴリズム モデル、初の業界カバレッジ。」「3 つの絶対的な初。個人的な経験によれば、Wenxinyiyan の中国語理解力と生成能力は必須とみなされ、このレベルではすでに GPT-4 と比較できます。
Wenxin Yiyan は十分に強力ですが、モデルの選択と使用における企業の多様かつ包括的なニーズを満たすために、Qianfan 大型モデル プラットフォームは Wenxin 大型モデルを中核とし、同時に最新の主要モデルに完全にアクセスします。 Llama 2、ChatGLM2-6B、RWKV-4-World、MPT-7B-Instruct、Falcon-7B およびその他 33 個の大規模モデルの全シリーズが含まれており、大規模言語モデルの数が最も多い大規模言語モデルとなっています。中国のモデル、最も広範囲をカバーし、継続的に進化するプラットフォーム。
さまざまな細分シナリオで、企業ユーザーはさまざまな大規模言語モデルを組み合わせて、大規模言語モデルの可能性を最大限に活用できます。企業と開発者は、Qianfan Large Model Platform のコンソールにログインし、第 1 レベルのディレクトリの「Large Model Management」の下にある「Model Warehouse」をクリックし、左上の「Preset Model」をクリックして、選択してデプロイできます。独自のニーズに応じてモデルを評価します。
学生の中には、33 個の大きなモデルはどのように選ばれたのかと質問する人もいるかもしれません。科学的な設計と実験の後、大規模モデルの専門家は、モデル効果、モデルの安全性、商用利用可能性という 3 つの重要な指標を採用しました。オリジナルモデルを選別した後、Qianfan はそれに基づいて性能と安全性の二重の強化を実施しました。
パフォーマンスは、エンタープライズ アプリケーションの重要な指標の 1 つです。低遅延モデルは、多くの場合、リアルタイム アプリケーションのスムーズさとユーザー エクスペリエンスを保証します。したがって、モデルのスループットを最適化し、モデルのサイズを縮小することにより、Qianfan はモデルの推論速度の大幅な向上を達成しました。推定によると、チューニング後、モデルのボリュームを 25% ～ 50% に削減でき、推論パフォーマンスが大幅に向上し、企業の重要なニーズを満たします。
同時に、Qianfan は科学的手法を通じて大規模モデルの二次的なセキュリティ強化も実行し、モデル出力の制御性とセキュリティを向上させ、コンプライアンス コストを大幅に削減しました。
特に言及する価値があるのは、開発者や企業がモデルチューニングを行うのに便利なように、Qianfan は一般的な微調整 (フルパラメータ微調整、プロンプトチューニング、LoRA) や強化を含むさまざまなフールプルーフチューニングツールも提供していることです。学習 (報酬モデル学習、強化学習トレーニング) など、同じモデルを複数の方法で継続的に調整できます。さらに、Qianfan はデータ バックフロー機能もサポートしており、実際の生産プロセス中に継続的に微調整を行い、モデルの効果を向上させることができます。
千の言葉や一万の言葉を言うよりも、本当の戦いをする方が良いです。まず、次の図に示すように、第 1 レベルのディレクトリの [データ サービス] の下にある [データセット管理] をクリックし、[データセットの作成] をクリックします。 ここでは、個人保護区にある 50 以上の一般的な深層学習の問題を例として取り上げます
。具体的な問題を以下の図に示します。
次に、左下隅にある「作成してインポート」をクリックします。
次に、データ形式に応じて、対応するラジオ ボタンをクリックします。例として、注釈情報を含むローカルにインポートされた JSONL ファイルを取り上げます。jsonl のデータ形式については、次を参照してください。
[{
"prompt": "请根据下面的新闻生成摘要, 内容如下:新华社受权于18日全文播发修改后的《中华人民共和国立法法》，修改后的立法法分为“总则”“法律”“行政法规”“地方性法规、自治条例和单行条例、规章”“适用与备案审查”“附则”等6章，共计105条。\n生成摘要如下:", "response": [["修改后的立法法全文公布"]]}]
アップロード後、すぐにインポートが成功したインターフェースが表示され、「詳細」->「公開」をクリックします。
次に、大規模なモデルのチューニングを実行し、クリックしてチューニング タスクを作成します。
下の図に示すように、クリックして作成してトレーニングします。LoRA の
微調整には BLOOMZ-7B モデルを使用します。50 個のデータのコストは 10 セント未満のみです。本当に美しいです、ああ：
約 20 分後、トレーニングが完了し、次の図に示すように、[公開] をクリックして新しいモデルをリリースします。 モデルのリリース
後、モデルの評価を実行して、効果を評価することも非常に便利です。注:
私の個人的な経験によると、Qianfan の大規模モデル プラットフォームは初心者にとって非常に使いやすいです。複雑なモデルのチューニングと評価の操作は、視覚的なクリックと入力操作によって完了できます。これにより、モデルのトレーニング、展開、評価の敷居が大幅に下がります。これは間違いなくあらゆる階層にとって朗報です。
3. Prompt の膨大なテンプレート ライブラリはモデル効果の最適化に役立ちます
プロンプトは人間と大規模言語モデルの間の橋渡しを指します。自然言語記述を通じて質問 (プロンプト) することは、大規模モデルが人間のニーズを理解するための重要な方法です。ただし、プロンプトを使用するには、ロールプレイングや要求の絞り込みを使用すると、模範解答の効果を大幅に高めることができるなど、一定の専門知識が必要です。
顧客がプロンプトの質問の品質を向上させ、モデル出力の品質とユーザーの満足度を向上できるようにするために、この一連のアップグレードの後、Baidu Smart Cloud Qianfan 大型モデル プラットフォームは、プリセットされたプロンプト テンプレート ライブラリを多数リリースしました。さまざまな役割 (医師、シェフ、会計士、人事スーパーバイザー、プロダクト マネージャーなど) やさまざまなタスク (コンテンツの概要、SQL ターミナル、オリジナルの書き換え、言語の最適化など) 用のプロンプト テンプレートを含む 103 のテンプレートがまさにすべてです。異性愛者はガールフレンドのプロンプトをとても褒めたいと思っていますが、このプロンプトがあれば、彼はもうガールフレンドを説得するのに失敗することを恐れません。
ユーザーは、ニーズに応じて適切なテンプレートを選択し、質問をテンプレートと統合して、モデルの内容の精度と適切性を向上させることができます。次の図に示すように、一般的に使用されるプリセット テンプレートに加えて、ユーザーは自分のニーズに応じて独自のテンプレートをデザインしたり、プリセット テンプレートを自作のテンプレートに保存して、お気に入りのテンプレートを収集することもできます。
Baidu Smart Cloudは、多くの企業が大規模なモデルを使用する場合、効果が低いのはモデル自体の問題であると考えているが、実際にはプロンプトを書き換えることで期待通りの効果が得られる場合が多いと述べた。多数のプロンプト テンプレートの導入により、プロンプト作成の難しさが大幅に軽減されます。多くの場合、企業は大規模なモデルの最適化に多大なリソースを費やすことなく、テンプレートに基づいてプロンプトを最適化することで満足のいくモデル効果を得ることができます。
4. まとめ
今日、大型モデルはあらゆる分野で徐々に形を変え、産業への上陸段階に入っています。大型モデルの使用の敷居を下げるために、Qianfan 大型モデル プラットフォームは、高品質の大型モデル リソースを継続的に収集し、使いやすく信頼性の高い大型モデル ツール チェーンを提供することに尽力しています。私たちは、各企業と開発者がビッグ モデルを迅速に採用し、ビッグ モデルと業界を組み合わせる革新的な実践を共同で模索できるよう支援することを目指しています。私たちの目標は、大型モデル技術の幅広い応用を促進し、業界の革新的な発展を促進するために、大型モデルのアプリケーションへの最短パスをユーザーに提供することです。