文：FedNAS：ニューラルアーキテクチャ検索による統合ディープラーニング
リンク：リンク https://chaoyanghe.com/publications/FedNAS-CVPR2020-NAS.pdf
会議ジャーナル：CVPR 2020ワークショップ
紙の読書ノートは、みんなとの議論を記憶し、促進するのに役立ちます。能力に限りがございますので、ご理解いただけない箇所もございますので、間違えた場合は早めに修正してください。
少しの知識
連邦学習は、人工知能の分野で非常にホットな研究方向であり、産業界や学界から幅広い注目を集めています。
AIはしばしばビッグデータと強く関連しています。ただし、最新のEU GDPRと国内のデータ監督によって発行された関連ポリシーにより、AIはプライバシー保護の問題に直面しています。したがって、モノのインターネットの小さなデータをどのようにしてビッグデータに統合するかが、連邦政府の学習ソリューションの焦点です。連携学習は主に、データアイランドの接続と融合、各モバイル端末のトレーニングパラメーター、暗号化されたアップロードを実現し、サーバーは共有仮想モデルと平均を要約して更新します。プライバシー保護に加えて、連邦政府の学習には、優れたデータ保護とモデリングパフォーマンスの利点があります。機能が同じであるかどうか、およびサンプルが重複しているかどうかに応じて、統合学習は垂直モードと水平モードに分けられます。現在オープンソースはFATEとTensorflow_Federatedです。
紙の内容
論文は最新の新しいコロナウイルスを踏襲し、病院のCTデータを例にとると、異なる病院間のRAWデータは利用できません。ただし、現在の従来の機械学習は、独立した同一の分布（IID）を前提として導出および確立されているため、異種の非IIDデータは、モデリング、分析、および評価に大きな課題をもたらします。非IIDデータの場合、連邦学習が重要な役割を果たす可能性がありますが、従来の連邦学習は、複雑な環境では十分に機能しない従来のネットワークに固定されています。したがって、著者は、NASを連邦政府の学習に導入することを提案しています。これは、PSワーカーの同期メカニズムと同様に、さまざまな端でトレーニングを実行し、勾配とネットワーク構造をクラウドに同期します。
以前のフェデレーション学習では、損失は両端で計算されていました。式は次のとおりです：
エンドサイドのトレーニング中にネットワーク構造が変化するため、損失は次のように変更されます：
サンプリングと勾配に便利なSoftmaxで正規化された異なるノード間。勾配ベースのMiLeNASアルゴリズムは、各ノードで実行されます。トレーニングは4つの部分に分かれています。各ワーカーは重みwとネットワーク構造パラメーターαを個別に最適化します。すべてのノードがwとαをサーバーに送信します。サーバーはパラメーターを更新し、非常に同期したps-workerのように各ノードにパラメーターを送信します。 。
著者は、2080Tiを使用して16ノードと1サーバーのアーキテクチャをシミュレーションし、データはDirichletに従って配布されたCifar10を使用し、データはシャッフルされました。タイプが異なり、1つのノードにほとんどのデータが含まれ、一部のノードにはデータさえありません。次の表は、10のカテゴリの各ノードのデータ量を示していますが、これは非IIDによって分散されていることがわかります。
NASを通じて、著者はFedNASを従来のFedAvgと比較します。検索プロセス中に、FedNASは81.24％の精度を達成でき、FedAvgの77.78％よりも優れています。最終テストの精度であるFedNASは、FedAvgよりも4％ポイント高くなっています。他の非IIDデータでは、FedNASも優勝しました。
いくつかの質問と将来のための興味深い方向性
1.この記事では、初めてNASを連邦政府の学習に紹介しますが、NASが本当に改善されたかどうかについては、まだ議論の余地があります。
2.このホワイトペーパーでは、強力なコンピューティングパワーを備えたGPUが必要です。しかし、従来の連邦学習では、多くの場合、エンドツーサイドが多様化しており、計算能力は十分ではありません。MiLeNASはトレーニングを加速できますが、限られたリソースの状況でどのように作業するかは解決すべき問題になります。
3.ネットワークとパラメータを更新するときは同期が必要ですが、停電や悪意のある攻撃などの非同期状態が発生した場合、システムは動作します。
4. NASですが、実際にはすべてのノードが一連の構造を共有しています。それは非IIDデータなので、カスタマイズされた作業、さまざまなノード、さまざまなネットワーク構造を実行できますが、これは非常に興味深い方向性になります。
