著者は次のリンクを共有しました: [ICLR 2023] 時空間異種データの連合学習_哔哩哔哩_bilibili
元の論文へのリンク: https://arxiv.org/abs/2205.10920
レポートの概要: フェデレーテッド ラーニングは、プライバシー保護のための分散学習パラダイムとして、データが移動せずモデルが移動する方法で、デバイス側でニューラル ネットワーク モデルを協調的にトレーニングすることを提案しています。ただし、エンド ツー エンド側で異種分布を持つデータは、フェデレーテッド ラーニングに深刻な課題をもたらします。最近の一連の研究により、この問題はある程度軽減されましたが、ほとんどの研究は空間におけるデータ分布の違いにのみ焦点を当てており、連合学習プロセスで現れる時空間の異種データは無視されています。このレポートでは、フェデレーテッド ラーニングと推論システムが直面する実際の課題に対処し、時空間の異種データをカバーするフェデレーテッド ラーニングの理論的フレームワークを提案します。展開シナリオにおけるフェデレーテッド ラーニングの分散シフトを調査し、ロバストな適応型データ分散シフトを提案します。アルゴリズム。
連合学習が直面する課題:
1. 通信オーバーヘッド: 制限と信頼性の低いネットワーク
2. データの不均一性: 独立していない同じように分散されたデータの高度な不均一性(この記事の主な焦点)
3. システムの異質性: ハードウェア、電源など
4.プライバシー漏洩
フェデレーテッド ラーニングにおけるデータの不均一性: クライアント ドリフトが発生しやすい
異質性が存在するため、各クライアントは独自の最適点に最適化され、反対方向に移動する多数の勾配が存在し、リソースが浪費されます。
以前のほとんどの研究では、静的な異種データでの連合学習のみを考慮しています
現在: テスト時間分布の変化の下での既存の作業の欠陥を特定し、FL モデルをより個別化し、さまざまなテスト時間分布の変化に対して堅牢にする Federated Test Time Head Ensemble Plus Tuning (FedTHE+) を提案します。
比較実験の部分は次のことを示しています。
従来のものは、いくつかの正則化用語を追加します
解決を目指して: エンドツーエンドの異種分散データ
従来のスキームは、フェデレーテッド ラーニング プロセスにおける時空間の異種データを無視して、空間データ分布の違いのみに焦点を当てています。
革新：
- 時空間異種データをカバーするフェデレーテッド ラーニングの理論的フレームワークを提案する
- 配備中の分布偏差の問題に直面して,データ分布偏差のための適応個人化アルゴリズムを提案した。
従来の方法: 勾配最適化を実行するときに、正則化項を追加します; この方法は、ローカル ディープ ラーニングをより考慮する必要があります
まず第一に、独立していない同じように分散されたデータは、一般化能力の低下、偏った分類子、および一貫性のない機能に簡単につながる可能性があります
2 番目: クライアントの配布の問題
最後に、異種クライアントの分布の違いを調整することにより (t-sne 可視化)、非 IID を持つクライアントは、分類器とのコサイン類似度が小さいことがわかります。
問題のモデル化:
ロバスト性評価のアーキテクチャ:
