コラボレーティブな予知保全のためのクロスデバイス フェデレーション モデル トレーニングにおけるプライバシーを意識したリソース共有
FLクライアントがFLメソッドの利点、つまりプライバシーと共有学習を損なうことなく、ローカルネットワークで利用可能なリソースを最大化できるようにする分割学習ベースのフレームワーク（SplitPred）が提案されています。
異種エッジ デバイスを含む PdM クロスデバイス FL シナリオでは、グローバル モデルを時間内にトレーニングするための十分なコンピューティング リソースを持たない FL クライアントが存在する可能性があります。これらのクライアントは、モデルの集約に遅延を引き起こし、トレーニングの反復中に切断されることさえあります。これにより、他の顧客が互いのデータから障害モードを効果的に学習できなくなる可能性があります。
この状況は、共同予測プロセスをしばらく停止させ、予知保全などのシナリオでコストがかかることが判明する可能性があります。
SplitPred は、
IoT エッジ デバイス (FL クライアント) がモデル トレーニング タスクの一部を同じネットワーク上にある他のエッジ リソースにオフロードできるようにすることで機能し (図 1b)、エッジ デバイスがローカル エッジ サーバーとモデルの更新を交換できるようにします (図 1b)。
、それらは集約のためにグローバルサーバーに渡されます。これは、ローカル モデルの収束時間を短縮するのに役立ちます。これは、エッジ デバイスがグローバル サーバーにリアルタイムでアクセスできない場合があり、モデルの更新の交換に遅延が生じるためです。
図 4 は、SplitPred の論理ビューを表しています。ここでは、複数の製造サイトに展開されたエッジ デバイスが共同 PdM プロセスに参加しています。
SplitPred の貢献は、グローバル モデルをトレーニングしながら、ローカル ネットワーク内のエッジ デバイスがコンピューティング リソースと通信リソースを共有できるようにすることです。
さらに、SplitPred を使用すると、エッジ デバイスはエッジ サーバーにすでに割り当てられている帯域幅を利用してグローバル サーバーとやり取りできるようになり、メッセージ交換の数とモデルの収束時間が短縮されます。SplitPred は、ローカル ネットワーク エッジ デバイスにデプロイされた Split Neural Network (SplitNN) アーキテクチャを活用して、グローバル モデルをトレーニングしながらプライバシーを保護するリソース共有を可能にします。
SplitPred は製造現場のローカル ネットワークに展開されるため、次の 3 層のローカル ネットワーク アーキテクチャが採用されています
。製造現場で処理ベースの製造データ主導の指示を受け取ります。センサーは生の知覚観測を優先エッジ デバイス (IEEE 802.15.4 などの有線または無線通信プロトコルを介して) に送信し、学習モデルに入力を提供します。
• エッジ デバイス: エッジ デバイス レイヤーは、フィールド デバイスから生データを受信し、推論のために処理する IoT エッジ デバイスで構成されます。エッジ デバイスは、限られたコンピューティング機能と通信機能 (WiFi など) を備えたシングルボード コンピューター (Raspberry Pi など) です。
• エッジ サーバー: この層は、グローバル サーバーに最終結果を提供するローカル アプリケーション エッジ サーバーで構成されます。SplitPred エッジ サーバーはグローバル モデルを受け取り、トレーニングに適したエッジ デバイスを割り当てます。これは、エッジ デバイスがニューラル ネットワーク セグメントをオフロードできるコンピューティング リッチ デバイスですが、エッジ サーバーは、エッジ デバイスと同様の機能を備えたシングルボード コンピューターでもあることに注意してください。
エッジ分析を完全に有効にするために、各エッジ デバイスは、異なる NN モデルまたは異なる NN モデルのフラグメントのトレーニングに順次参加できます。
SplitPred1: すべてのトップ レイヤーは ED に保持され、ボトム レイヤーとラベルは ES に保持されます。
SplitPred2: NN のバックエンドをリモート エッジ サーバーにオフロードする
SplitPred3 は、NN の一部を隣接するエッジ デバイス (ED2) にオフロードします。
SplitPred3 は、複数のエッジ デバイス間でのリソース共有をサポートしています。図 8 に示すワークフローによると、SplitPred3 には複数の ED が含まれ、それらは SplitNN モデルの異なる部分を共有し、ラベルは ES に配置されます。順方向勾配と逆方向勾配の実行は、図 6 に示すアーキテクチャと同様のままです。最初のエッジ デバイス (ED1) は、ニューラル ネットワークの最初のセグメント (layer1、layer2、...、layerk) を実行し、layerk に対応するアクティベーションと勾配を、2 番目のセグメント (layerk+1、layerk+2、...、 layerj) エッジ デバイス (ED2)。layerj に対応する活性化と勾配は ES と共有され、そこで最後のセグメント (layerj+1、layerj+2、...、layern) が実行され、C(outputn, labels) が実行されます。ここで、layerk と layerj は 2 つの分割されたレイヤーです。バックプロパゲーションでは、ES は次の偏導関数 (式 16) を計算し、∂C ∂aj を ED2 と共有します。
概説されている各展開戦略は、ローカル デバイス (エッジ デバイスとエッジ サーバー) 間で生の製造データを共有することを制限します。参加するエッジ デバイスは、ニューラル ネットワークの最後のレイヤーの出力のみを相互に共有します。これにより、データのプライバシーが保証されるだけでなく、ローカル ネットワークでのメッセージ交換の数も減少します。展開戦略は、残りのエネルギー、ワークロードなどの ED 固有のローカル パラメータによって決定されます。[29] などの文献では、さまざまなオフロード決定メカニズムが提案されていますが、この議論は、このホワイト ペーパーで提示されている作業の範囲を超えています。
SplitPred を使用すると、トレーニング中のメッセージ交換の数を減らしながら、収束時間と精度が向上します。
ただし、FL は、グローバル モデルをトレーニングするためのメモリ要件に関しては、SplitPred よりも優れています。
最後に、将来の研究のために次の未解決の問題を提案します。
グローバル モデルの精度と計算オーバーヘッドのトレードオフ: この作業では、共同 PdM のグローバル学習モデルとして、2 つの隠れ層を持つ単純な NN モデルを採用しています。NN の単純さは、リソースに制約のあるエッジ デバイスでの精度と計算オーバーヘッドの間のトレードオフを維持しようとします。ただし、LSTM や CNN などの他の集中型モデルは精度が向上しますが、計算コストが高くなります。これにより、これらのモデルはリソースに制約のあるエッジ デバイスには適さず、ネットワークとエッジのリソース消費を最小限に抑えようとするシナリオでは逆効果になる可能性があります。
したがって、精度と計算オーバーヘッドのトレードオフは未解決の問題です。分割学習は LSTM では使用できませんが、軽量の CNN モデル (1D および 2D) を調べて、精度をさらに向上させることができます。
ローカル ネットワークとモデル交換のプライバシー漏洩: 層の分割によるプライバシー漏洩の可能性 [通常は、
(1) デバイスにオフロードされる隠れ層の数を増やし、(2) 差分プライバシーを使用することで対処します。ただし、両方の手法、特に差分プライバシーは、グローバル モデルの精度が低下するという問題があります。したがって、グローバルモデルの精度を維持しながらプライバシー漏洩のリスクを低減するという問題を解決する必要があります。
ブロックチェーンなどのテクノロジーを使用して、安全で信頼性の高いモデル交換を実現できます。これは、関係するコンセンサス メカニズムが潜在的に悪意のある FL クライアントの特定に役立つためです。
ローカル エッジ デバイスのメモリ オーバーヘッド: 分割学習を使用したグローバル モデル トレーニングでは、トレーニング プロセスに関与する各デバイスの勾配を格納する必要があります。これにより、ローカル ネットワーク上のエッジ デバイスのメモリ オーバーヘッドが増加します。圧縮/解凍プロセスがモデルの収束時間に影響を与えないようにしながら、メモリ要件を削減するために、データ圧縮技術を検討することができます。