ブロックチェーンベースのレピュテーションを意識したフェデレーテッド ラーニングに向けて

---

論文アドレス: https://www.researchgate.net/profile/Muhammad-Habib-Ur-Rehman/publication/339297228_Towards_Blockchain-Based_Reputation-Aware_Federated_Learning/links/5e83b797299bf130796db972/Towards-Blockchain-Based-Reputation -Aware-Federated-Learning .pdf

---

きめ細かい連合学習

A. 問題提起

従来のフェデレーテッド ラーニング スキームにはいくつかの制限があります。(1) デバイスとサーバーの異種性。(2) データとモデルの更新の高次元性。(3) データ、アルゴリズム、データソース、データ前処理、モデルトレーニングに逸脱がある。(4) モデルトレーニングの一元化。(5) 単一障害点と省略。さらに、従来のフェデレーテッド ラーニング スキームでは、一元的なグローバル モデルの更新が導入されており、これは粒度の粗いアプリケーションの開発に有益です。たとえば、携帯電話ユーザーの一般的な活動の検出が実現できます。しかし実際には、歩幅や歩行速度、座る姿勢、ランニングモデルなどユーザーごとに行動パターンが異なるため、パーソナライズされたカスタマイズが必要となります。図1に示すように、きめの細かいFLは、より高い柔軟性と知識の可用性を実現します。

B. 定義

この記事では、古典的な FL を粒度の細かい FL として再定義し、MEC (モバイル エッジ コンピューティング) ネットワークの 3 つのレイヤーすべて (つまり、エッジ、フォグ、クラウド) でプライバシーを保護する協調学習プロセスを実行します。これには主に 3 つのエンティティが含まれます: (1) データ所有者 (エッジ デバイス)、(2) データ アービトレータ (フォグ ノード)、(3) モデル所有者 (クラウド サーバー)。図 2 は、 MEC ネットワークにおけるきめの細かい FL 実行プロセスを示しています。以下を含むNNが与えられたとすると、$N$個のデバイス$D=\{1、...、N\}$、$n\; 個$のフォグ ノード$F=\{1、...、n\}$とモデルのセット$L=\{1、...、n\}$、任意のデバイス$D_{}$F i F_iと同じでなければなりません$F_{}$関連付けられており、 L i L_iを実行できます$L_{}$。

Step_1 (モデルのブートストラップ): $D_{}$グローバル$L_{}$を更新し、$D_{}$学習タスクを実行するために十分なリソースを用意してください。
Step_2 (グローバル タスクの初期化):クラウド サーバーは、更新されたモデルを定期的にフォグ ノード$F_{}$。さらに、クラウドサーバーは、接続されているすべてのF i F_iに学習タスク (ハイパーパラメーター、学習率、必要な精度、最適化/半最適化 SGD など) を委任します。$F_{}$
Step_3 (ローカルタスクの初期化): F $F_{}$更新されたモデルを接続されている$D_{}$。また、$F_{}$学習タスクをローカル モデルにリンクする$L_{}$マッチ。更新の場合、$L_{}$Step_5を実行します。それ以外の場合は、候補$D_{}$そして、接続されているすべてのD i D_iに学習タスクを委任します。$D_{}$。
Step_4 (ローカルモデル集約):クラウドサーバーは複数の$F_{}$L i L_iを更新するには$L_{}$したがって、MEC ネットワークの遅延と遅いブートストラップにより、きめの細かい FL プロセスでのモデルの更新が同期しなくなります。したがって、ローカル モデル$L_{}$之前，$D_{}$3 つのモデルすべて (**独自のモデル、フォグ ノード モデル、サーバー モデル???)** のモデル パラメーターを一致させる必要があります。モデル更新の場合、$D_{}$センサーやアプリケーションからデータを収集し、$L_{}$与えられた学習タスクを実行します$D_{}$ローカルの$L_{}$モデルを作成し、プライバシー保護技術をモデルの更新に適用し、接続されている$F_{}$ローカル集約を行います。$F_{}$ローカル モデル集約アルゴリズムを実行し、それに応じてローカル モデル$L_{}$プライベート情報を追加した後、更新されたモデルパラメータがクラウドサーバーに送信されます。
ステップ_5 (グローバル モデル集約):クラウド サーバーはグローバル モデル集約スキームを実行し、グローバル$L_{}$。L i L_iになります$L_{}$の更新は、基礎となる MEC ネットワーク内の接続されているすべての$F_{}$
ステップ_6 (グローバル モデル更新リクエスト): D $D_{}$グローバル モデルに対する更新を定期的に生成して、ローカル$L_{}$。
ステップ_7 (グローバル モデルの更新):クラウド サーバーは、更新されたモデル パラメーターを基礎となる MEC ネットワーク内のすべての$D_{}$和$F_{}$。

C. 要件

MEC システムにおける細粒度 FL の目標と問題、および関連する研究作業の欠点に基づいて、図 3 に示すように、いくつかの基本要件がこのサブセクションで定義されます。

パーソナライゼーション:データ所有者は、個人的な経験に基づいてローカルの$L_{}$フォグ ノードとクラウド サーバーの共同学習モデルを強化するために更新されました。ただし、ローカル$L_{}$パーソナライズされ、データおよびモデルのポイズニング攻撃に耐性があることが求められます。
分散化:データ、データ所有者、 F i F_i間$F_{}$また、クラウド サーバーの集中化は、非 IID データとバイアスの FL モデルにつながります。したがって、きめの細かい FL プロセスに関与するすべての参加者の間で分散化が必要です。
きめの細かい FL:古典的な FL モデルは、すべてのD i D_iにわたって予測を行うことができる、きめの粗い予測を提供します。$D_{}$一元的なグローバル$L_{}$。ただし、本質的には、データセットを垂直に分割して、より良い洞察を得ることができます。MEC はマルチレベルのデータ管理をサポートしているため、$D_{}$、$F_{}$そしてクラウドレベルの垂直データパーティショニング。マルチレベルに分割されたデータセットにより、よりきめの細かい FL トレーニングが可能になります。
インセンティブ:高品質のデータソースを使ってD i D_iを採用するには、新しいインセンティブが必要です$D_{}$。
信頼:複数のデータ所有者、データ仲裁者、モデル所有者は、信頼でき、プライバシーが保護され、安全な環境を提供する必要があります。
アクティブモニタリング:限られたバッテリー電力とモビリティの制約により、$D_{}$MEC 環境への参加は不安定です。したがって、高品質のデータ収集を保証するために、ドロップされた参加者を継続的に監視するには、きめの細かい FL システムが必要です。
異質性とコンテキスト認識: D i D_iのため、きめの細かい FL は MEC に対処する必要がある$D_{}$、$F_{}$、データ型、データソース、$L_{}$そして異質性の可能性。また、$D_{}$和$F_{}$さまざまな状況を推論し、 L i L_iを実行するための正しいコンテキストを確立できなければなりません$L_{}$。
通信と帯域幅の効率:隣接$D_{}$同じ環境下で、同じ学習タスクを使用すると、同じモデルの更新が生成されます。したがって、高度なデータ削減、モデル圧縮、および適応モデル集約技術が必要です。また、$F_{}$通信効率を向上させるには、遅延を最小限に抑える必要があります。
詳細なモデル同期: $D_{}$和$F_{}$FL 内のリソースの変動により、参加者の損失と実行時間の変動が生じ、その結果、きめの細かい FL 環境が異なります。したがって、きめの細かい FL システムでは、すべての通信パスの遅延を最小限に抑えて、MEC システムの 3 つの層の最大限の同期を確保する必要があります。

---

ブロックチェーンベースのレピュテーションを意識したフロリダ州

悪意のある、間違った$D_{}$ただし、 D i D_iに関しては、 の存在がきめ細かい FL の要件を実現するための主なボトルネックになる可能性があります。$D_{}$事前の評判情報により、このボトルネックを克服できます。ブロックチェーンベースのきめ細かい FL レピュテーション システムを図 4に示します。

レピュテーション情報へのアクセスは、イーサリアムのパブリック ブロックチェーンとスマート コントラクト テクノロジーを使用してレピュテーション スコアの信頼できる集計を計算および決定するフロントエンド DApp を通じて、FL システムのすべての参加者に提供されます。$D_{}$クラウドサーバーや$F_{}$オフチェーン モデルのパラメーターが評価され、そのパフォーマンスが評価され、ハッシュされて MEC ネットワーク内の分散ストレージ (IPFS など) に保存されます。彼らは、評判スコアのハッシュをオンチェーンのスマート コントラクトに報告します。スマートコントラクトは各$F_{}$そしてクラウドサーバーの評判。同様に、$F_{}$Connected D は、データの豊富さ、コンテキスト認識、異種環境での代表的な非冗長モデル更新を提供する機能、ドロップされた参加者の割合、モデル更新の品質、モデル更新の統計的変化などに基づいてペアリングできます。$D_{}$パフォーマンス評価。同様に、クラウド サーバーは、共同モデル開発プロセスへの参加の熱意、モデルの更新を共有する意欲、モデルの更新の頻度、およびその他のパフォーマンス パラメーターに従って$D_{}$和$F_{}$評価を行います。