エッジインテリジェンスのフェデレーションラーニングに関する調査
チャン・シュエチン1、2、リウ・ヤンウェイ1、リウ・ジンシア3、ハン・ヤンニ1
1. 中国科学院情報工学研究所、北京 100093
2. 中国科学院大学サイバースペースセキュリティ学部、北京100049
3. 浙江万里大学 寧波市 315100、浙江省
基金プロジェクト: 中国国家自然科学財団 (61771469 基金)、重慶市立大学と中国科学院協力プロジェクト (HZ2021015)
まとめ
エッジインテリジェンスの需要の急速な成長に伴い、フェデレーテッドラーニング（FL）テクノロジーは業界で大きな注目を集めており、従来のクラウドベースの集中型機械学習と比較して、フェデレーテッドラーニングはエッジネットワークで機械学習モデルを共同でトレーニングする装置です。大量のローカル データを処理のためにクラウドに送信することで、データ処理コンピューティング ノードとユーザーの間の距離が短縮され、ユーザーの低遅延要件を満たしながら、ユーザー データをローカルでトレーニングして実現できます。エッジ ネットワーク環境では、通信リソースとコンピューティング リソースが限られているため、フェデレーテッド ラーニングのパフォーマンスは、無線ネットワークのステータス、端末デバイスのリソース、およびデータ品質の包括的な制限に依存します。
この論文では、まずエッジ インテリジェンス環境における効率的なフェデレーテッド ラーニングの課題を分析し、次にクライアント選択、モデル トレーニング、モデル更新などの主要テクノロジーにおけるフェデレーテッド ラーニングの研究の進捗状況を要約し、最後にエッジ インテリジェント フェデレーションの開発動向を展望します。学ぶ。
簡単な紹介
1. まず、FL の基本原理の導入を通じて、エッジ インテリジェンス環境における効率的なフェデレーション ラーニングが直面する課題を分析します。
2. 次に、FL クライアント選択技術、モデルトレーニング最適化方法、および無線ネットワーク下でのモデル更新技術におけるフェデレーテッド ラーニングの研究の進捗状況を要約します。
3. 最後に、エッジインテリジェントフェデレーションラーニングの開発傾向を展望します。
ハイライト
FL は分散学習アーキテクチャを採用しているため、MEC アーキテクチャの下でニューラル ネットワーク モデルを分散的にトレーニングできます。学習に参加するクライアントはローカル データをアップロードする必要はなく、トレーニング済みモデルのパラメータを更新してアップロードするだけで済みます。 、エッジ サーバー ノードによって集約および更新されますパラメータは学習に参加しているクライアントに送信されます図 1 は、ドローンおよび車両のインターネット向けのエッジ インテリジェント アプリケーション環境における FL の古典的な展開アーキテクチャを示しています。
表 1 に示すように、文献調査と分析を行った結果、これまでの FL レビューでは上記の問題に関する詳細な議論が不足していましたが、これに基づいて、本稿では FL がエッジ インテリジェント アプリケーション環境の課題にどのように対処できるかに焦点を当てます。エッジインテリジェントＦＬの研究動向をクライアント選択法，モデル学習最適化技術，モデル更新技術の側面から詳細にレビューし，今後のエッジインテリジェントシステムにおけるＦＬの研究動向を論じた。
クライアント選択プロトコルに関しては、図 2 に示されています。西尾らは、FL クライアント選択プロトコル、すなわち FedCS を提案しました。FedCS は、クライアントが FL プロトコルで機械学習モデルをダウンロード、更新、アップロードする期限を設定します。中央パラメータ サーバーがこの期間内にできるだけ多くのクライアント更新を集約するようにすることで、トレーニング プロセス全体が効率化され、トレーニングに必要な時間が短縮されます。
適切なクライアントを選択すると、トレーニング プロセス中にコンピューティング リソースが限られている (つまり、更新時間が長い) またはワイヤレス チャネルの状態が悪い (つまり、アップロード時間が長い) クライアントを排除できるため、FL の継続的なトレーニングに役立ちます。これらの手法は、インセンティブ メカニズムによるものであれ、セキュリティの観点からデータ分散を考慮したものであれ、クライアントのパフォーマンスがトレーニングに及ぼす影響に焦点を当てていますが、非常に大規模なデータを使用して、数十億のパラメータを持つ複雑なモデルをトレーニングします。より優れたパフォーマンスを持つクライアントを選択しても、エッジ インテリジェント アプリケーション環境における FL の全体的なパフォーマンスを保証することはできないため、FL トレーニング プロセスを最適化する必要があります。表 2 は、既存の FL クライアント選択計画をまとめたものです。
エッジ インテリジェンス アプリケーションでは、複数のユーザーがディープ ニューラル ネットワーク モデルを共有することで FL を実現し、モデルのプライバシー保護がより重要になります。Zhang らは、モデル セグメンテーション技術と差分プライバシー手法を採用して、モバイル エッジ コンピューティングを使用した FL フレームワークを提案しました (モバイル エッジ コンピューティングのフェデレーション ラーニング スキーム (FedMEC)、このフレームワークは、モデル セグメンテーションの移行がコンピューティングの転送を促進するエッジ インテリジェント環境の典型的な FL アーキテクチャです。具体的な学習フレームワークを図 3 に示します。FedMEC フレームワークは、ディープ ニューラル ネットワークを次のように分割します。事前学習済みのクライアント側ニューラル ネットワーク モデルとエッジ サーバー側のニューラル ネットワーク モデルの 2 つの部分に分かれており、モデルの移行により複雑な計算をエッジ サーバーに転送することができ、同時にローカル モデルのプライバシーも保護されます。パラメータは、差分プライベート データ摂動メカニズムを通じて漏洩が防止されます。
表 3 は、既存のモデル圧縮技術の特徴をまとめたものです. 文献 [48] では、参加者が通信の各ラウンドで FL サーバーに送信するモデル更新データを削減するための構造化更新手法とスケッチ更新手法が提案されています. 構造化更新手法は、参加者の更新を制限します。 - 指定された構造、つまり低ランクおよびランダムなマスク。
ガウス マルチアクセス チャネルを介したデジタルおよびアナログ実装の場合、HFD は過酷な通信環境において従来の FL を上回るパフォーマンスを実現できます。データ送信ソースの機能サイズが縮小され、FL フレームワークとデータ エンコーディングの共同設計に新しい研究アイデアが提供されます。表 4 は、FL モデルのトレーニングの現在の最適化方法と特性を示しています。
図 4 は、固定周波数アグリゲーションと適応型アグリゲーションの違いを示しています。固定周波数アグリゲーションは、グローバル アグリゲーションの頻度を固定し、固定リソース バジェットの下で学習損失を最小限に抑えることです。適応モデル アグリゲーションは、グローバル アグリゲーションの頻度を動的に調整することです。学習損失を最小限に抑える固定リソース予算の下で。
MECサーバー上で公平なパラメータ集約を実現するために、現在の精度と目標精度の差を最小限に抑えるための公平な係数を導入し、CuFLアルゴリズムの収束を理論的に厳密に分析し、車両分類におけるCuFLのパフォーマンスを検証します。 FL の有効性評価結果は、CuFL アルゴリズムが精度、トレーニング時間、集計プロセスの公平性の点で優れていることを示しています。表 5 に主要な FL モデルビューロとテクノロジーを示します。
UAV システムにおける FL の適用に関する研究. 表 6 は、クライアント、サーバー、データなど、エッジ ネットワーク下での UAV FL アプリケーションの主なコンポーネントと FL の期待される結果を示しています. UAV はエッジ コンテンツとして使用できますこのパラダイムの主な課題は、ドローン コンテンツの人気を予測して、どのコンテンツを各キャッシュに保存するかを効率的に決定することですが、これには、コンテンツを区別するためにプライベートのドローン情報に直接アクセスする必要があり、これは実際には不可能です。可能: FL はローカル トレーニング モデルをサポートしているため、コンテンツの人気予測に基づく自然なマッチング スキームであり、それによってユーザー データのプライバシーが保護されます。
車両のインターネットにおける FL の応用に関する研究 図 5 は、インテリジェント交通における FL の使用例を示しています 文献 [100] は、車両のインターネットにおける超高信頼性かつ低遅延の通信の電力とリソースの共同割り当て問題を研究しましたFL は、ネットワーク全体のキュー長のテール分布を推定するために使用されます。文献 [101] では、車両のインターネットにおける画像分類に FL を使用する問題について説明しています。
文献 [73] の研究は、BAA 方式が OFDMA 方式と同じテスト精度を達成できると同時に、遅延を 10 ～ 1000 分の 1 に削減できることを示しています。Amiri らは、誤差累積と勾配 Sparse をさらに拡張して導入しました。文献 [74] と同様に、文献 [124] では、AirComp の処理で発生する集計エラーが、エアコンピューティングに比べて帯域幅を有効に活用でき、通信負荷を大幅に軽減し、高いテスト精度が得られると指摘しています。モデルの精度降下問題に対しては、信号の歪みを一定の閾値以下に保ちながら統計的学習のパフォーマンスを向上させるためにトレーニングに使用するデバイスの数を最大化する参加者選択アルゴリズムが提案されています図6にアルゴリズムの原理を示します。
結論と展望
エッジ インテリジェンス FL の現在の研究状況から、FL はクライアントの選択、モデルのトレーニング、およびモデルの更新において大幅な進歩を遂げており、基本的にエッジ インテリジェンス アプリケーションの実際のニーズを満たすことができることがわかります。 -大規模かつ多様なエッジインテリジェンス FLテクノロジーにはまだ発展の余地がたくさんあります。
1. FL プロセスでは、よりきめ細かいプライバシー保護が必要です。
2. 学習の収束速度を向上させるために、FL をワイヤレス ネットワークと深く統合する必要があります。
3. FL は、転移学習、強化学習、その他のテクノロジーを組み合わせて、エッジ インテリジェント アプリケーションの多様なニーズを満たす必要があります。
4. FL には効果的な参加インセンティブメカニズムが必要 FL に関する現在の研究のほとんどはパフォーマンスの向上に焦点を当てており、参加者の学習意欲は無視されています。
引用形式
Zhang Xueqing、Liu Yanwei、Liu Jinxia、Han Yanni. エッジ インテリジェンスのためのフェデレーション ラーニングの調査 [J]. Computer Research and Development、2023、60(6): 1276-1295。
チャン・シュエチン、リウ・ヤンウェイ、リウ・ジンシア、ハン・イェンニ。エッジ インテリジェンスにおけるフェデレーション ラーニングの概要[J]。コンピュータ研究開発ジャーナル、2023、60(6): 1276-1295。
コードをスキャンして全文を取得します