ASGD の「STALENESS」を解決するにはどうすればよいですか? 分散ディープラーニングのための古さを意識した Async-SGD が論文集中読解の説明を提供します

元の論文:分散深層学習のための陳腐化を意識した Async-SGD

ABS

非同期$SGDでは$ハイパーパラメータをどのように制御するかが重要な問題（学習の進行に応じて学習率をどのように調整するかなど） 非同期SGDではハイパーパラメータの設定が重要 SGD$SGD\; は$非常に重要な影響力を持っています。

この記事では、非同期SGD SGDを提案します。勾配遅延に基づいて学習率を調整する$SGD$$のバリアント。$そして、アルゴリズムの収束は理論的に保証されています。

1 イントロ

一般的に使用される分散機械学習手法には$SSGD$ (同時確率的勾配降下法) および$ASGD$$SGD\; (非同期確率的$勾配降下法)。

SSGD用SSGD$SSGD$の場合、各ラウンドですべての作業ノードは、次のラウンドの計算を開始する前に、最も遅い作業ノードが計算を完了するまで待機する必要があり、これはトレーニング速度に大きな影響を与えます。

そして$A、SG\; 、および\; D$の場合、すべてのワーク ノードがこのラウンドの計算を完了するのを待つ必要はありません。代わりに、どのワーク ノードも計算を完了しません。ワーク ノードが更新された後、次のラウンドの計算を直接実行できます。これにより、新たな問題が発生します。勾配が最新ではありません。つまり、ノードによって計算されているパラメータが最新のパラメータよりも遅れている可能性があります。この効果は絶大で、トレーニングラウンド数が固定の場合、$ASGD$のトレーニング効果は$SSGDは$もっとひどいです。

著者が$ASGD\; の$収束度は、ハイパーパラメータ (学習率やバッチ サイズなど) と分散システムの実装 (同期プロトコル、ノード数など) に大きく影響されます。現時点では、ハイパーパラメータの設定に関する情報が不足しています$。$$.$ ASGD ASGDを改善する$ASGD$の効果に関する研究。

そこでこの記事の著者は、学習率を自動的に調整できる$ASGD$はASGD ASGDほど優れています$SGD\; は、$グラジエントの有効期限の問題を回避します。この方法では、勾配の満了が記録され、学習率を勾配の満了の度合いで割って新しい学習率を取得します。そして、この方法の収束率は$SSGD$と同じ。

これまでの関連研究の中には、学習率を指数関数的なレベルで下げることにより、ノード数が少ない分散システムで良好な結果を達成できるものもありますが、大規模な分散システムでは、学習が進むにつれて学習率が特別な値になります。0 0へ$0$ )、システム全体の収束が遅くなりすぎます。

2 システムアーキテクチャ

このパートでは、アルゴリズム全体の設計について説明します。2 つのアルゴリズムのアーキテクチャは次のとおりです。

• $n-ソフト同期プロトコル:\; 勾配有効期限の一部を$検出し、ソフト同期を通じて過剰な$有効$$期限$$を$$防止$$でき$$ます$$。$
• $ハード同期プロトコル$:$つまり$$、$$SSGD$ SSGD$\_$$\_$$\_$$\_$$\_$$SSGD$，作为$比較用のバスケットです$。$\_$

2.1 アーキテクチャの概要

いくつかのパラメータの説明:

• $\lambda$ : 稼働中のノードの数。
• $\mu$ : 各ノードのバッチサイズ。
• $\alpha$ : 学習率。
• $Epoch$ : 反復バージョン。
• $タイムスタンプ:タイムスタンプ。パラメータが$更新されるたびにタイムスタンプが増加します$。$各グラデーションは現在のタイムスタンプを記録します。
• $t_{私、}$: 動作中のノード$l$の勾配満了の程度稼働中のノードが$私は$すぐに$時間j$での勾配、つまり現在送信されている勾配が期限切れになると、$t_{私、}=私-j$。

各動作ノードは次の操作を順番に実行します。

• $getMinibatch$ : このラウンドの計算に使用されたバッチを取得します。
• $pullWeights\; :\; パラメータ\; サーバーから$重みを取得します$。$
• $calcGradint$ : 重みに基づいて現在のバッチの勾配を計算します$。$
• $pushGradient\; :\; 計算された$勾配をパラメータ サーバーに送信します。

パラメータ サーバーは次の操作を実行します。

• $sumGradint:$受信した勾配を$集計$$し$$ます$$。$
• $applyUpdate\; :\; 集約さ$れた勾配を使用してパラメータを更新します$。$

2.2 同期プロトコル

$ハード同期プロトコル$: 更新の各ラウンド中、パラメーター サーバーは、$すべてのノード$$から$$送信された$$勾配$$を$$受信$$した後にのみ$$sumGradient$$SumGradint操作を実行$し、Update Update を適用し$ます$$applyUpdate$$適用更新これら\; 2\; つの操作が完了した場合にのみ、作業$ノードはプル W 8 の pullWeights$を$$渡すことができます。$$pullWeightsは新しい$ラウンドのパラメータを取得します。これは、ワーカー ノードは最も遅いワーカー ノードがタスクを完了するまで待機する必要があることを$意味$$し$$ます$$。$この方法は時間がかかりますが、トレーニングの精度は非常に高くなります。

$n-softsyncprotocl$ : このメソッドでは、パラメーター サーバーは少なくとも c = [ λ n ] c=[\frac{\lambda}{n}] を受け取るだけで済み$ます$$c=\left[\frac{}{n}\right]$グラデーションの後、このccを実行できます。$c$ノードの勾配集約操作、その後パラメータが更新されます。この時点で、完了したノードは新しいパラメータを取得してトレーニングを続行できます (ここで、nnn = λ n=\lambda$の場合、\; n$はハイパーパラメータです。$n=\lambda これは、$以前に提案されたASGD ASGDに似ています。$SGDも$同様で、この記事の方法で更新される学習率は動的に変化します)。更新された式は次のとおりです。

学習率は呼気の度合いに基づいて計算されます。

2.3 実装の詳細

この記事のメソッドでは、$プルウェイトは$プッシュ時のみ$に$$適用$$さ$$れ$$ます$$。$ Gradient$PushGradient$$パラメーターは、\; pushGradintが完了した後にのみ取得できるため、同時実行により$モデルのパラメーターが確実に不一致になる可能性があります。

実装では、コンピュータに複数の動作ノードが存在する場合があります。モデルの並列性は使用されません。

2.4 古さの分析

ハードシンクプロトコルの場合、$ハード同期プロトコルサーバーは更新前にすべてのノードの勾配を受信する必要があるため、期限切れは$発生しません。つまり、$t=0$。

異なる値の場合は$n$で発生する呼気の度合い$私=30$種類の異なる$n\; は$τ \tauを実行しました$\tau$の計算$図1を示し$ます$。$

上記の結果について私が困惑しているのは、$n=1$、これはパラメータ サーバーが少なくとも30 30パラメーターは 30 勾配まで更新されません。つまり、この時点では$SSGD$$SSGD\; は$同じ動作を生成します。つまり、$t=0$は true ですが、実験結果ではそうではないことが示されているため、ここで受け取った$30\; の$グラデーションには同じノードからの 2 つのグラデーションが存在する可能性がありますが、$2.3$の記述から判断すると$プルウェイトセット$プッシュグラデーション$PushGradient$$\_$$\_$$\_$$\_$$\_$$\_$$pushgradintは完了した後でのみ実行できますが、これは$少し矛盾しているようです$。$

実験を通じて、著者は$n-softsyncprotoclwhere$ τ \tau$\tau$はほぼnnに等しい$n$。この直感的な理解により、nn許容できる呼気の程度を制御するため$。$

时刻$i$、ノード$l$の学習率は次の式で決定されます:
$$\begin{gathered} {ある}_{私、}=\frac{{ある}_{}}{t_{私、}}\tau なら\_{}_{私、}>0 \\ {ある}_{私、}={ある}_{}\tau なら\_{}_{私、}=0 \end{gathered}$$

3 理論的分析

この部分は収束を証明していますが、私の能力が低いため、あまり理解できません（主に読みたくないため）。

4 実験結果

4.1 ハードウェアとベンチマーク データセット

このセクションでは、使用した機器とデータセットの詳細を示します。原文でご覧いただけます。

4.2 実行時評価

$図2は、$ノード数が異なる 2 つのデータセットで勾配を受信せずに更新することによってもたらされる速度の向上を示しています$。$

このグラフは、この記事で提案した方法が (ノード数の増加に応じて) ほぼ線形の加速を提供することを示していることがわかります。

4.3 モデルの精度評価

$図3\; は、データセット$上のCIFAR 10 CIFAR10を示しています$。$$CIFAR10$でのトレーニング エラーとテスト精度の結果

$図4\; は、Image$ Net および ImageNetでのことを示しています$。$$ImageNetで$の$結果$$:$$\_$$\_$

写真の比較からわかるように、学習率が呼気の程度に応じて動的に更新される場合、$n-ソフト同期と$SSGDSSGD$\_$$\_$$\_$フィット感は$SSG$$Dの方が優れています。$

5。結論

この記事の寄稿:

• 証明された$SGD\; はSGD$ SGDと比較できます$SGD$の収束速度は同じです。
• 一部のデータセットでグラデーションが期限切れになる範囲を定量化しました。同時に、実験では最大$動作ノードが30$であるため、比較的大規模な分散システムへの試みと考えられます。