PrimiHub のフェデレーテッドラーニングモデルはオープンソースであり、データ制限を破り、データセキュリティを保護します。

ChatGPT によって引き起こされた大規模モデルの急増により、人工知能の大規模モデルに対するあらゆる階層の人々の注目が急速に高まりました。

モックアップとは何ですか? 大規模モデルとは、多数のパラメーターを備えたディープニューラルネットワークモデルを指します。通常、これにより、より強力な表現機能と一般化機能が提供され、それによってさまざまなインテリジェントサービスのパフォーマンスと品質が向上します。大規模モデルのトレーニングプロセスでは、トレーニング用にさらに多くのデータを取得する方法と、トレーニングデータのデータプライバシーを保護する方法という大きな課題に直面することになります。

フェデレーテッドラーニングは、それぞれのデータプライバシーを保護しながらユーザーデバイス上の大量のデータを効果的に利用し、大規模モデルに対してより豊富で多様なトレーニングデータを提供できる分散機械学習パラダイムです。その中心的なプロセスはパラメータの転送です。つまり、参加者は自分のデバイスでトレーニングしたモデルパラメータを中央サーバーに送信し、中央サーバーはすべての参加者のパラメータを集計して平均し、更新されたパラメータを参加者に返します。このサイクルでは、ユーザーデータのプライバシーとセキュリティを保護するという前提の下で、大規模モデルの分散トレーニングと更新を実現するためにモデルのトレーニングと更新が行われ、大規模モデルのトレーニング効率と持続可能性が向上します。

Primitive Technology のオープンソース PrimiHub フェデレーションラーニングモデル

これを踏まえ、Primitive Technologyは本日、PrimiHub上で大規模なフェデレーションラーニングモデルをオープンソース化し、複数の参加者が共同で大規模なディープニューラルネットワークモデルをトレーニングできるフェデレーテッドラーニングに基づく大規模なモデルトレーニングと予測を実現した。PrimiHub フェデレーテッドラーニングの大規模モデルは、テキストを理解して生成でき、複数の言語とシナリオをサポートし、検索、推奨、ダイアログ、翻訳、要約、作成などの分野で、より豊富で正確、よりパーソナライズされたコンテンツとサービスをユーザーに提供します。

PrimiHub フェデレーテッドラーニングの大規模モデルは ChatGLM6B に基づいており、PrimiHub フレームワークにフェデレーテッドラーニングモデルを実装します。ChatGLM6B は、マルチモーダル、マルチタスク、マルチドメインの事前トレーニングモデルであり、テキスト、画像、音声、ビデオなどのさまざまな種類のデータを理解して生成でき、複数の言語とシナリオをサポートします。PrimiHub を使用すると、ユーザーは自分のデバイスでフェデレーテッドラーニングに参加し、データのプライバシーとセキュリティを保護し、大規模モデルによってもたらされるインテリジェントなサービスを楽しむことができます。以下のリンクから直接体験できます。

プロジェクトアドレス: https://github.com/primihub/primihub
使用ガイド: https://docs.primihub.com/docs/advance-usage/create-tasks/fedreated-learning/chatglm/

PrimiHub Federated Learning 大規模モデルの技術的ハイライト

PrimiHub フェデレーテッドラーニングの大規模モデルは、多くのパラメーターと優れた効果を備えた ChatGLM6B に基づいています。60 億を超えるパラメータを備え、現在、中国最大の事前トレーニングモデルの 1 つであり、最も先進的なマルチモーダル事前トレーニングモデルの 1 つであり、さまざまな自然言語処理、コンピュータビジョン、音声認識、および言語処理において大きな成功を収めています。優れたパフォーマンスと品質により、より豊富で正確、よりパーソナライズされたコンテンツとサービスをユーザーに提供します。
Ptuning 技術により、重みの一部を調整することで、すべてのパラメータを調整したのと同じ効果のモデルパラメータ調整が実現され、フェデレーテッドラーニングの計算とリソースのオーバーヘッドが削減されます。Ptuning は、新しいモデルの微調整テクノロジーで、ほとんどのパラメーターを固定したまま、一部のパラメーター (1% など) を調整することで、すべてのパラメーターを調整するのと同じ効果を達成できるため、必要な通信リソースとコンピューティングリソースを大幅に削減できます。モデルのトレーニングと更新用。ユーザーがコンシューマグレードのグラフィックカードで大規模モデルのフェデレーションプロセスを体験できるようにします。PrimiHub フェデレーテッドラーニングの大規模モデルを使用すると、ユーザーはハイエンドサーバーやクラウドプラットフォームを必要とせずに、コンシューマーグレードのグラフィックカード (NVIDIA GeForce RTX 3070 など) でフェデレーテッドラーニングを簡単に実行でき、ユーザーがフェデレーテッドラーニングに参加するためのしきい値とコストを削減できます。連合学習。
新しい PrimiHub SDK に基づくと、フェデレーテッドラーニングに基づく大規模モデルのトレーニングを実現するために必要なコマンドは 1 行だけです。ユーザーが簡単に始められるようにします。PrimiHub SDK は、オープンソースで使いやすく、効率的なフェデレーテッドラーニングソフトウェア開発キットです。これにより、ユーザーは自分のデバイスでフェデレーテッドラーニングに参加でき、データのプライバシーとセキュリティが保護され、大規模モデルによってもたらされるインテリジェントなサービスを楽しむことができます。ユーザーは一連のコマンドを入力するだけで、フェデレーテッドラーニングにおける大規模モデルの分散トレーニングを自動的に完了できます。また、アップデートにより、複雑な構成やプログラミングを行うことなく、フェデレーテッドラーニングに参加するユーザーの利便性とエクスペリエンスが向上します。

PrimiHub フェデレーテッドラーニングの大規模モデル固有のトレーニングパラメーター:

シナリオ: 水平フェデレーションシナリオ
タスクデータ: 中国語 MedDialog データセット (医療テキストの質問と回答、110w)、ADGEN データセット (衣類のラベル分類、11w)
パラメータパーティ: 2 つの参加モデリングパーティ、1 つのアグリゲーションサービスパーティ
環境：3070 8GB×2
モデルパラメータ: 60億 (6b、6000M)

将来的には他に何をしたいですか?

PrimiHub フェデレーションモデルは引き続き反復されます。今後、PrimiHub オープンソースコミュニティは、PrimiHub フェデレーション大規模モデルのモデルタイプを反復し続け、大規模モデルの使用の敷居を下げるためにオンラインの大規模モデルサービスを提供する予定です。

デジタル化の進展と医療データの流通により、スマートな診断や治療、新薬の研究開発などの産業の発展を促進できる一方で、医療分野の進歩も促進できます。現代の医学研究、公衆衛生と伝染病予防、臨床医療応用などの生物科学と技術。しかし、医療データには強いプライバシー属性があり、プライバシー保護とデータセキュリティに対する要求はさらに高まっています。フェデレーテッドラーニングの大規模モデルと医療業界のデータを組み合わせることで、ユーザーのプライバシーを明らかにすることなくデータを完全に流通させることができ、準拠した合法的な方法でデータを使用してデジタル医療の開発を促進することができます。

金融業界では、データはデジタルリスク管理の「血液」と同様に重要ですが、データ共有に対する銀行の需要が高まり、データセキュリティとプライバシー保護に対する監督要件が厳しくなっているため、外部機関とのギャップが生じています。それらの間でデータを共有する技術的な難しさとコストが大幅に増加しました。フェデレーションラーニングの大規模モデルと財務データの組み合わせにより、セキュリティを満たすことを前提とした「アイランド効果」を打破し、データリソースの効果的な開発と活用を通じて包括的かつ正確なリスク評価を実現し、迅速なビジネス展開。

将来的には、PrimiHub フェデレーテッドラーニングモデルも、金融、医療、インターネットなどの複数の業界に深く統合され、新しい形式の業界デジタル化を実現すると同時に、GPT+ プライバシーコンピューティングに基づくパーソナルアシスタントも提供される予定です。想像力の余地が大きい。データ値の制御可能な使用は、プライバシーコンピューティングによって実現できます。これは、特定の分野の大規模モデルにとって唯一の方法になります。