エッジ支援無人航空機ネットワークのための階層的連合学習
まとめ
フェデレーテッド ラーニング (FL) により、無人航空機 (UAV) は、プライベート データをローカルに保持しながら、グローバルに共有された機械学習モデルを共同でトレーニングできます。
近年、エッジアシスト無人航空機 (UAV) によって取得される異種データが急増しており、プライバシーを備えたグローバル モデルを確立する必要があります
。 iid) 収束の学習を確実にしながら、異種データの性質。
この問題に対処するために、共通の共有データを使用する中間アグリゲーターとして基地局に配置されたエッジサーバーを利用する、エッジアシストUAVネットワーク用の階層的連合学習アルゴリズムが提案されています
。
序章
1. モチベーション
UAV におけるフェデレーテッド ラーニングの適用:次の 4 つの
ループ ステップによって実現されます
。 (iii) ローカル モデルが
クラウド サーバーに
集約されてグローバル モデルが更新されます。
(iv) 更新されたグローバル モデルが UAV に送信され、UAV でローカルに再度トレーニングされます。
ほとんどの FL システムは FedAvg アルゴリズムを使用します。これは、トレーニング サンプルの数に基づいて平均モデルの更新に重みを付けます。
短所:
FL (リアルタイムのデータ フィードをクラウド サーバーに送信する必要がない) はレイテンシと帯域幅を削減できますが、ディープ ラーニング (DL) モデルのサイズが継続的に増加するため、モデルの更新の送信がシステムのボトルネックになります。
グローバルモデルのトレーニングの収束を確保しながら、さまざまなタイプの UAV によって取得された異種データの非独立で同一に分散された性質に対処する方法。
2. 関連作品
UAV とクラウド サーバーの間の基地局に配置された中間エッジ サーバーは、FL に必要な通信と計算のコストを大幅に削減するのに役立ちます。
| 関連作業 | 目的 |
|---|---|
| Zhang らは、離れた場所に UAV のネットワークを配備するためのアグリゲーターとして、地上核融合センター (GFC) を備えた FL システムを検討しました。 | コミュニケーションの複雑さを軽減 |
| ユーザーとエッジ アノテーション間の通信リンクとしてドローンを使用する | ネットワーク遅延のオーバーヘッドを軽減 |
| UAV を通信およびコンピューティング デバイスとして使用しながら、モバイル エッジ コンピューティング ネットワークでのコンピューティング オフロード、リソース割り当て、最適な UAV 配置など、いくつかのサービスが定式化されています。 |
UAV ネットワーキングにおける重要な考慮事項:
サンプルを生成するためのデータの不均一性。UAV は、メモリ、通信、計算、およびエネルギー消費によって実質的に制限されます。
システムの不均一性の問題に対処するアプローチ:
分散学習を使用して複数のエッジ デバイス間でトレーニング プロセスを実行し、重要なインフラストラクチャ エージェントの機能停止とリソース情報を予測して熟練したデバイスを選択します。
エッジ UAV ネットワーク向けの非 IID.data ディストリビューションでの堅牢で高性能なフェデレーテッド ラーニング アルゴリズムの開発は、依然として活発な研究分野です。
3. 貢献
• 非 IID データ (つまり、非常に歪んだ特徴とラベルの分布) を使用する現実世界のシナリオで適切に機能する階層的 FL アルゴリズムを開発しました。
イノベーションのポイント: エッジ サーバーで公開共有データを使用して、独立していない同一の分散の性質によって生じる相違の問題を効果的に解決します。ドローンから模範的なデータ サンプルを収集することにより、エッジ サーバー上で共同共有データをオフラインで作成または構築します。
ドローンとエッジサーバーのローカルモデルを階層的に集約してグローバルモデルを更新する効率的な方法も提案されています。
システム モデルと問題の説明
クラウド サーバー、基地局に配置された L 個のエッジ サーバー、および N 個のドローンを含むエッジ アシスト ドローン ネットワークを考えてみましょう。ドローンは L 個のグループに分割され、カーディナリティ |C l | = C lの C l で示される l 番目のドローン グループは、l 番目のエッジ サーバーに割り当てられます。
ドローンのデータ サンプルの総数を n とします。ここで、i 番目のドローンには、n iデータ サンプルで構成される P iで表されるデータセットがあります。FL の目標は、次の (全体的な) 損失要因を最小限に抑えることです。
f(w) はグローバル モデル w の損失関数を表し、f j (w) は i 番目のドローンの j 番目のデータ サンプルの損失関数です。
トレーニング プロセス:
(1) 中央クラウド サーバーは、グローバル モデル w を各 UAV に送信します。
(2) 各ステップ t で、i 番目の UAV は、勾配降下法に基づいてプライベート データセット P iを使用してグローバル モデル w をローカルにトレーニングし、それによってローカル モデル w i
を生成します。ここで、η t はステップ サイズを表します。
(3) ローカル モデル {w i } を中央クラウド サーバーに送り返した後、グローバル モデル w は次の集計によって更新されます。
目的の精度が達成されるまで、上記の手順を繰り返します。
ドローンの不均一性は、フェデレーテッド ラーニングのパフォーマンスと収束動作の低下につながります.
デバイス間でデータにバイアスをかける方法はいくつかあります.
| 方法 | 特徴 | 例 |
|---|---|---|
| 特徴分布の偏り | 周辺分布 Pi は、デバイスごとに異なります。これは、異なるデバイス間でデータ特性が異なることを意味します。 | 同じオブジェクトの写真でも、明るさ、オクルージョン、カメラ センサーなどが異なる場合があります。 |
| ラベルの配布が偏っている | デバイスは、利用可能なすべてのタグの小さなサブセットにアクセスできます | 各デバイスは、特定の数の複数の画像にアクセスできます |
| 概念移転 (異なる機能、同じラベル) | 条件付き分布 P i (x 1 y ) は、デバイスごとに異なります。同じラベル y が、デバイス間で異なる機能 x を持つ場合があります | 数字認識の状況では、数字はさまざまな方法で書かれる場合があり、その結果、同じ数字の基本的な特性が異なります。 |
| 概念の移転 (同じ機能、異なるラベル) | 条件付き分布 P i (x|y) は、デバイスによって異なります。同様の機能は、デバイスによってラベルが異なる場合があります | 5 と 6、または 3 と 8 のように、異なる数字は非常によく似た書き方で表されます。 |
実際のシナリオでは、少なくとも上記の各方法が実際に発生する可能性があり、通常、ほとんどのデータセットにはそれらが混在しています。
階層的 FL アルゴリズム
重要なアイデア: エッジ サーバーは、共通の共有データを持つ中間アグリゲーターとして使用され、非 IID データの学習パフォーマンスを向上させます。
階層型 FL では、パブリック共有データを使用して、エッジ サーバーでローカル モデルをトレーニングします。
UAV とエッジ サーバーのローカル モデルを階層的に集約することが提案されています。
アルゴリズム 1 は、エッジ アシスト UAV ネットワーク用に提案された階層型 FL アルゴリズムを示します。ここで、T は全体的な集約ステップです。さらに、C は、層別 FL に参加している UAV の割合を示します。これは、合計 N 個の UAV から選択されます。
動作原理:
(1) ドローンとエッジ サーバーのローカル モデルをランダムな重み w 0で初期化し、各エッジ サーバーに、データセット全体の 5% に相当する共通の共有データセット Q を割り当てます。
(2) UAV とエッジ サーバーは、プライベートとパブリックの共有データをそれぞれ使用して、ローカル モデル (つまり、前のラウンドのグローバル モデル) を並行してトレーニングし始めます。
(3) グローバル集約の各ステップで、UAV は前のラウンドからのグローバル集約パラメータ w tでモデルを更新します。
(4) k 1 回のローカル反復の後、各 UAV は、プライベート データセット P iを使用してトレーニングされたローカル モデル w l iをエッジ サーバーに送信します。(5) 対応する UAV からローカル モデルを受信した後、エッジ サーバーは、共有データセット Q を使用してエッジ サーバーのローカル モデル w e l
をトレーニングするエッジ集約を実行します。無人機。(6)エッジ集約プロセスをk2回繰り返した後、エッジ サーバーはその集約モデル {w} をクラウド サーバーに送信します。(7) クラウド サーバーでは、グローバル モデル w t+1がグローバル集約によって取得されます。一般に、l 番目のエッジ サーバーに割り当てられた i 番目の UAV のローカル更新は、次の形式をとります。式。
どの FL アルゴリズムでも、集中学習法と比較して、重みの違いにより機械学習モデルのトレーニング精度が低下します。これは、主に次の 2 つの要因によって引き起こされます。
| 要素 | 対応する階層 FL アルゴリズム係数 | 効果 |
|---|---|---|
| トレーニング プロセス中の UAV モデルの初期化は異なります。 | UAV のローカル更新で反復回数 k1; 更新された結果をグローバル サーバーに転送する前のエッジ サーバーでの集計ステップの回k2 | k1 と k2 の値を小さくすると、つまり、グローバル アグリゲーション間の反復ステップが少なくなり、実際には通信コストが削減されます。 |
| 基礎となるデータ配布の非 iid の性質 | 共有データの割合 Q | エッジ サーバーは、割り当てられた UAV のデータ分布に従って、共有データセットのサイズを個別に微調整できるアグリゲーターとして機能します。 |
複雑性分析
アルゴリズムの各ラウンドの全体的な通信時間の計算量は O( CN te + L tc )
. エッジ サーバーは UAV と中央サーバー間の基地局としても機能するため、FedAvg の通信時間の計算量は O( CN ( t e + t c ))。
ユーザーのアクティビティ数 CN > エッジ サーバーの数 L であるため、アルゴリズムは FedAvg と比較して通信の複雑さを軽減します。
数値結果
非 iid データ分布の度合いが異なる 2 つのシナリオを考えてみましょう。
| シーン | スキームを設定する | 目的 | ネットワーク構築 |
|---|---|---|---|
| シーン 1 | 広く使用されている MNIST データセットは、UAV ではプライベート データセット P iとして設定され、エッジ サーバーではパブリック共有データセット Q として設定されます。極端な非 iid データ分布を考慮して、100 個の UAV と 10 個のエッジ サーバーが選択され、各 UAV にデータ サンプルが与えられます。各エッジ サーバーには、合計 2 つの異なるクラスを持つ 10 個の UAV が割り当てられます。 | ラベル配布スキュー (スキュー) のケースを適切に説明します。つまり、各 UAV が 1 つのクラスのみのデータ サンプルを持ち、各エッジ サーバーに同じラベルの UAV が割り当てられる場合です。 | 4 層の畳み込みニューラル ネットワーク (CNN): 最初の 2 つの畳み込み層はそれぞれ 10 と 20 のフィルターを使用し、カーネル サイズは 5 で、その後に 50 ユニットと 10 ユニットの 2 つの全結合層が続きます。 |
| シーン 2 | 連邦拡張 MNIST (FEMNIST) データセットを使用して、10 桁に加えて 52 の手書きの大文字と小文字を分類し、文字の作成者に従ってデータセットを分割します。UAV ごとのサンプル数は不均衡です。 | P i がUAV 間で異なるように設定されている場合に、特性分布偏差が FL に及ぼす影響を調べます。 | 同様の CNN: 32 および 64 フィルターを使用する 2 つの畳み込み層、カーネル サイズ 5、1024 および 62 ユニットを使用する 2 つの全結合層 |
ニューラル ネットワーク モデルでは、UAV ごとに、確率的勾配降下法を使用してローカル モデルが更新されます。ここで、バッチ サイズは 32 に設定され、学習率は 0.01 に設定され、指数関数的な重み減衰は、グローバル集計の各ステップの後に 0.995 です。 .
合計で 360 の UAV が 18 のエッジ サーバーにランダムに割り当てられました。シナリオ 1 とシナリオ 2 では、データセットの 5% がエッジ サーバーの共有データセットとして選択されます。
ドローン ネットワークの動的な性質により、一部のデバイスがシステムのボトルネックになる可能性があります (つまり、分散効果)。最後に、C = 0.008 という非常に低い値を使用した実験は、離散効果による高いドロップアウト率または低い参加率に対するアルゴリズムの堅牢性を示しています。
実験指標と結果
。. . . . .
結論は
エッジサーバー上の共有データを利用することにより、エッジアシストUAVネットワーク用のレイヤードFLアルゴリズムが提案されています。
結果は、iid 以外のデータと多数のエッジ サーバーを使用する 2 つの現実世界のシナリオで、階層型 FL アルゴリズムが既存の FL アルゴリズムよりも優れていることを示しています。
特に、同じラベルの付いたデータ サンプルを含む UAV を各エッジ サーバーに割り当てる場合、既存の FL アルゴリズムでは必要なレベルの精度を達成できません。
文献情報源
トゥルスンボエフ・ジャムシード 他 エッジ支援無人航空機ネットワークのための階層的フェデレーテッド ラーニング[J]。応用科学、2022 年、12(2) : 670-670。