最適化関数の基本的な理解

基本的な考え方

デリバティブ

関数$y=f\left(x\right)$点${バツ}_{}$あるフィールドに定義があり、独立変数$x$で${バツ}_{}$増加分$\Delta x$，$(\times +\Delta x)$もこの近傍内にあり、対応する関数は増分$y\_\_=f(x_{}+\Delta \times ）-f(x_{})$；当$\Delta x\_\_\to 0$時、$\Delta y$ Δ x$\Delta x$の比率が存在する場合、関数$y=f\left(x\right)$点${バツ}_{}$で導出でき、この極限を関数$y=f\left(x\right)$点${バツ}_{}$における導関数は$f^{\text{'}}(x_{}$f ' ( x 0 ) = lim ⁡ x 0 → 0 Δ y Δ x = lim ⁡ x 0 → 0 f ( x + Δ x − f ( x ) Δ x f'({x}_0)=$\backslash$ lim_
$f^{\text{'}}\left(x_{}\right)={\mathrm{リム}}_{{バツ}_{}\to }\frac{y\_}{\Delta x\_\_}={\mathrm{リム}}_{{バツ}_{}\to }\frac{f(x+\Delta x-f(x}{\Delta x\_\_}$

偏導関数

多変量関数では、導関数と偏導関数は本質的に同じであり、どちらも独立変数の変化が0 に近づくときの独立変数の変化に対する関数値の変化の比率の限界です。簡単に言えば、導関数は単項関数、関数y = f ( x ) y=f(x)を指します。
$y=$特定の点における$x\; 軸の正の方向に沿ったf$$($$x$$)$の変化率。偏導関数は多変量関数、関数$y=f(x_{}、{バツ}_{}、...{\times }_{})$ ( x 0 , x 1 , ... xn ) に沿った点$({\times }_{}、{バツ}_{}、...{\times }_{})$は、特定の座標軸の正の方向の変化率です。
$\frac{}{\alpha {\times }_{}}f(x_{}、{バツ}_{}、...{\times }_{})={\mathrm{リム}}_{\Delta x\to }\frac{y\_}{\Delta x\_\_}={\mathrm{リム}}_{\Delta x\to }\frac{f(x_{}、...、{\times }_{}+\Delta x{\_}_{}、...、{\times }_{})-f(x_{}、...{\times }_{}、...、{\times }_{}}{\Delta x\_\_}$

方向導関数

導関数と偏導関数はどちらも、座標軸の正の方向に沿った関数の変化率を議論します。方向導関数の定義は、関数に沿った点における任意の方向の変化率を考慮するときに生じます。多変量関数において、偏微分は特定の座標軸上の独立変数
の変化を指し、方向微分は複数の座標軸上の独立変数の特定の方向の変化を指します。偏導関数は本質的には方向導関数の特殊なケースです。α α lf ( x 0 , x 1 , . . . xn ) = lim ⁡ ρ → 0 Δ y Δ x = lim ⁡ ρ → 0 f ( x 0 + Δ x 0 , . . . , xj + Δ xj , . . . . , xn + Δ xn ) − f ( x 0 , . . . xj , . . , xn ) ρ \frac{\alpha}{\alpha{l}}{f({x}_0, {x} _1,...{x}_n)} = \lim_{ {\rho\to0}}\frac{\Delta{y}}{\Delta{x}} = \lim_{ {\rho\ to0}} { \frac{f(x_0+\Delta{x_0},...,{x}_j + \Delta{x_j},...,x_n + \Delta{x_n})- f(x_0, ...x_j, . ..、x_n)}{\rho}}
$\frac{}{\alpha l\_}f(x_{}、{バツ}_{}、...{\times }_{})={\mathrm{リム}}_{\rho \to }\frac{y\_}{\Delta x\_\_}={\mathrm{リム}}_{\rho \to }\frac{f(x_{}+\Delta x{\_}_{}、...、{\times }_{}+\Delta x{\_}_{}、...、{\times }_{}+\Delta x{\_}_{})-f(x_{}、...{\times }_{}、...、{\times }_{}}{r}$
ψ $r=\sqrt{\left(\Delta x{{\_}_{}}^2\right)+...+\left(\Delta x{{\_}_{}}^2\right)+...+\left(\Delta x{{\_}_{}}^2\right)}$

勾配

勾配は、もともとベクトルであることを意図しており、この点での関数の方向導関数がこの方向、つまり、特定の点でのすべての方向導関数の最大値に対応する方向に沿って最大値を取得し、関数が変化することを示します。現時点でこの方向に沿った最速の最大変化率。

$gradf(x_{}、...、{バツ}_{}、...{\times }_{})=(\frac{ふ}{\alpha {\times }_{}}、...\frac{ふ}{\alpha {\times }_{}}、...、\frac{ふ}{\alpha {\times }_{}})$

方向微分と勾配の関係

二項関数の下では、方向微分は次のように表すことができます:
$\frac{ふ}{\alpha l\_}=\frac{ふ}{\alpha \times }\ast cos\theta \_+\frac{ふ}{ああ\_}\ast sin\theta$
ここで$\theta$は、方向ベクトルと x 軸の間の角度として表されます。上の式を 2 つのベクトルの内積に変換すると、次のように表されます:
$\frac{ふ}{\alpha l\_}=[\frac{ふ}{\alpha \times }、\frac{ふ}{ああ\_}]\ast [cos\theta ,\_sin\theta ]$
2 つのベクトルの内積は、2 つのベクトルの加群の乗算として表され、次にそれらの間の角度を乗算され、次のように表されます。 α f α l
$\frac{ふ}{\alpha l\_}=\sqrt{{\frac{ふ}{\alpha \times }}^2+{\frac{ふ}{ああ\_}}^2}\ast \sqrt{{cos\theta \_}^2+{\theta のs}^2}\ast cos\_\_=\sqrt{{\frac{ふ}{\alpha \times }}^2+{\frac{ふ}{ああ\_}}^2}\ast 1\ast cos\phi$ベクトル内積の幾何学的意味によれば、次
のことがわかります。$\phi$は 2 つのベクトルの間の角度、つまり、勾配と特定の方向の間の角度。方向と勾配の間の角度が 0 である場合に限り、方向微分値は最大値になります。つまり、関数内の特定の点における最大の方向導関数に対応する方向、つまり勾配の方向です。

勾配降下法を理解する方法

簡単に言えば、ニューラル ネットワークにおいて、勾配降下法は損失関数の最小化を見つける方法です。

直感的なバージョン

勾配降下法

最も単純な単項凸関数$f\left(x\right)={バツ}^{}$勾配降下法が関数の最小値を見つける方法を示す例として図${}^{2を参照します。}$
開始点${バツ}_{}=10$は、次の図に示すように、初期化後のニューラル ネットワークの重みの初期値に類似しています:

$f\left(x_{}\right)$対応する勾配は次のとおりです:
$grad\left(f\right(x_{}))=\frac{ふ}{\alpha \times }私=f^{\text{'}}\left(x_{}\right)=\left(2x{|}_{{バツ}_{}=}\right)=20は$xx
に相当します$x$軸上のベクトル$\Delta f\left(x\right)$は関数の最も速く成長する方向であり、その場合、$-\Delta f\left(x\right)$は、関数の最も速く減衰する方向です。

勾配降下法に従って、次の位置を取得するために特定の距離を移動します。
${バツ}_{}={バツ}_{}-\eta \Delta f(x_{})$
其中，$\eta$は移動距離を制御できるステップ サイズであり、$の=0.1$の場合、次の点の位置は次のようになります。
${バツ}_{}={バツ}_{}-\eta \Delta f\left(x_{}\right)=10-0.1\ast 20=8$

勾配降下法を使用して連続的に反復すると、次の更新プロセスが得られます。Δ ( f ( x ) \Delta(f(x)) が

わかります。$\Delta \left(f\right(x)$は継続的に減少し、最終的に 0 に近づきます。このとき、$\Delta f\left(x\right)=f^{}\left({}^{\times }\right)\_=0\; の$場合、関数は最小値をとります。

学習ステップサイズ

上記の計算プロセスでは、学習ステップ サイズ$\eta$で移動距離を制御し、今度はさまざまなη \eta最終結果に対する$\eta の影響。$

1. $\eta が$小さすぎる

\eta を設定します$\eta$は0.01で10回繰り返しますが、まだ底までの距離があることが分かります。

2. $\eta$適切

\eta を設定します$\eta$は 0.2 で 10 回反復され、ちょうど底に到達したことがわかります。

3. $\eta の方$が大きい

\eta を設定します$\eta$は 0.5 で、10 回反復され、関数値が 2 点間で振れていることがわかります。

4. $\eta が$大きすぎ

\eta を設定します$\eta$は1.1で10回繰り返しますが、この時点で関数値はボトムを越えて上昇を続けます。

要約すると、さまざまな学習ステップ$\eta$の下では、反復回数が増加するにつれて、関数値の変化則は異なります。

数学バージョン

勾配降下法は一般的に使用される一次最適化手法であり、制約のない問題を解決するための最も単純かつ古典的な手法の 1 つです。制約なしの最適化問題の場合$minf\left(x\right)$、ここで$f\left(x\right)$は、集合x 0 , x 1 , ... xn {x_0, x_1,...x_n}連続微分可能なです${バツ}_{}、{バツ}_{}、...{\times }_{}$，满足：
$f\left(x_{t+}\right)<f(x_{}）、t=0、1、...n$
その後、次の図に示すように、極小点に収束します。

minf$minf\left(x\right)$は次の点${バツ}_{t+}$そして$f\left(x_{t+}\right)<f(x_{}）$。単項関数の場合、関数値は$x\; の$値が変化するため、次の${バツ}_{t+}$前の${バツ}_{}$特定の方向に小さな一歩を踏み出す$\Delta ｘが$得られる。
テイラー展開による:
$f(x+\Delta \times ）\simeq f(x)+\Delta \times f^{\text{'}}(x)$
サブ座標は現在の$x\; は$小さなステップΔ x \Delta{x}右辺にほぼ等しい$\Delta$$xが得られます。$f ( xt + 1 ) < f ( xt ) f(x_{t+1}) < f(x_t) であることを確認する必要があるため$f\left(x_{t+}\right)<f\left(x_{}\right)$、つまり$f(x+\Delta \times ）<f(x)$，则$\Delta \times f^{}\left({}^{\times }\right)\_<0$ .Δx = − α f ' ( x ) , ( α > 0 ) \Delta{x} = -\alpha{f'(x)}, (\alpha>0) と仮定します
。$\Delta x\_\_=-a{f}^{\text{'}}\left(x\right)、(\_>0)$、ここで$\alpha$は学習ステップ サイズなので、$\Delta \times f^{}\left({}^{\times }\right)\_=-a{f^{}\left({}^{\times }\right)\_}^{\mathrm{２}}$．ゼロ以外の数値の二乗は 0 より大きいため、$\Delta \times f^{}\left({}^{\times }\right)\_<0$。
したがって、
$f(x+\Delta \times ）=f(x-ふ{\_}^{\text{'}}\left(x\right))$は、 f ( x + Δ x ) < f ( x ) f(x+\Delta{x})< f(x) であることを
保証できます。$f(x+\Delta \times ）<f(x)$，つまり${バツ}_{t+}={バツ}_{}-ふ{\_}^{\text{'}}\left(x\right)$の場合、移動方向は負の勾配方向です。
勾配降下法の全体的なフローを次の図に示します。

最適化機能

確率的勾配降下法

確率的勾配降下法では、毎回1 つのサンプル データを選択することで重みパラメータが更新されます。
アドバンテージ：

• トレーニング速度が速いため、バッチ勾配更新プロセスにおける計算の冗長性の問題が回避されます。
• トレーニング データの量が比較的大きい場合、より高速に収束することもあります。

欠点:

• 各サンプルはランダムにサンプリングされるため、モデルのトレーニング後はサンプルのごく一部しか使用されず、取得される勾配に偏りが生じます。
• さらに、分散が大きくなると、ボラティリティも大きくなります
  

バッチ勾配降下法

バッチ確率的勾配降下法では、重みパラメータを更新するたびにすべてのサンプル データを走査する必要があります。
アドバンテージ：

• 完全なデータセットを走査するため、結果はグローバル最小値になります。

欠点:

• モデルの学習速度が遅く、データ量が多いとメモリに載せきれず、勾配計算の複雑さも大きくなります。
  

ミニバッチ勾配降下法

各反復では、サンプル データのごく一部を考慮して重みパラメータを更新します。
アドバンテージ：

• SGD の高い分散の問題を軽減し、モデルの収束をより安定させます。
• 行列の乗算により計算を高速化できます。

欠点:

• サンプルの選択にはランダム性もあり、モデルの良好な収束は保証されません。
  

指数加重平均

後続の複数の最適化関数を導入する前に、指数加重平均法を理解する必要があります。これは本質的には平均化に似た方法です。指数加重平均法を使用して変数の局所平均を推定すると、変数の更新が一定期間内の履歴値に関連付けられ、各観測値に異なる重みとその重み係数が与えられます。時間とともに指数関数的に減少します。
指数加重平均法は、平均法に比べて過去の値をすべて保存する必要がなく、計算量が大幅に軽減されます。
指数加重平均法の計算式は次のとおりです。
$v_{t+}=bv{\_}_{}+(1-b){私}_{t+}$
ここで、$v_{t+}$t+1 t+1までを表す$t+1$日の平均、${私}_{t+}$t+1 t+1を示します$t+1$日の気温値、$\beta$は調整可能なハイパーパラメータです。指数加重平均法の 3 つの重要な特性は、次のように検証されます。

• 地域平均
• 重み付け係数
• 係数は時間とともに指数関数的に減少します

β = 0.9 \beta=0.9 と仮定します。$b=$v 100 = 0.9 v 99 + 0.1 θ 100 ; v_{100} = 0.9v_{99} + 0.1\theta_{100};$0.9$の場合、指数加重平均法の平均プロセスは次のように取得できます
$v_{}=0.9v\_{\_}_{}+0.1i{\_}_{};$
$v_{}=0.9v\_{\_}_{}+0.1i{\_}_{};$
$v_{}=0.9v\_{\_}_{}+0.1i{\_}_{};$
上記の式を簡略化すると、次の式が得られます:
$v_{}=0.1i{\_}_{}+0.9v\_{\_}_{}$
$=0.1i{\_}_{}+0.9\ast (0.1i{\_}_{}+0.9v\_{\_}_{})=0.1i{\_}_{}+0.1\ast 0.9i{\_}_{}+{0.9}^2\ast (0.1i{\_}_{}+0.9v\_{\_}_{})$
$=0.1i{\_}_{}+0.1\ast 0.9i{\_}_{}+0.1\ast {0.9}^2{私}_{}+{0.9}^{3v}{\_}_{}$

上の式から、$v_{}$これは、各観測値に重みを乗算したものに等しく、重みは時間とともに指数関数的に減少します。もう 1 つの点は、指数加重平均法で得られる平均は局所平均であるため、平均化される観測値の数は、およそ$\frac{}{1-b}$、この例では$b=0.9$の場合、10 個の観測値が参照されます。
平均の計算をより正確にするためには、バイアスを修正する。以下は、$b=0.98$、$v_{}=0$、${私}_{}=$sov1 = β v 0 + ( 1 − β ) θ t = 0.98 ∗ v 0 + 0.02 θ t = 0.02 θ t = 8 v_1=\beta{v_0}+(1-\beta)\theta_t=0.98$*$
$v_{}=bv{\_}_{}+(1-b){私}_{}=0.98\ast v_{}+0.02i{\_}_{}=0.02i{\_}_{}=8$
したがって、初日の推定値は正確ではありません。$v_{}=0.98v\_{\_}_{}+0.02i{\_}_{}=0.02\ast 0.98\ast {私}_{}+0.02i{\_}_{}$、 θ 1 \theta_1による${私}_{}$和${私}_{}$はすべて整数なので、計算された$v_{}$θ 1 \theta_1よりもはるかに小さい${私}_{}$和${私}_{}$。
初期推定が不正確な場合は、$\frac{v_{}}{1-b^t}$その日の値を示します$t\; は$日数を表すため、2 日目の推定値は次のようになります。
$\frac{v_{}}{0.0396}$
てと$t$値が増加すると、$b_{}$0 に近いので、 ttのとき$t$が大きい場合、バイアス補正の効果はほとんどありません。

運動量勾配降下法

運動量勾配降下の基本的な考え方は、勾配の指数加重平均を計算し、その勾配を使用して重みを更新することです。
ミニバッチ勾配降下法では、サンプリングのランダム性により、各低下は厳密には最小値の方向を向いていませんが、全体的な下降傾向は最小値の方向を向いています。

運動量勾配降下法は、スイングの振幅を小さくし、学習速度を向上させる方法です。

運動量勾配降下法の式は次のとおりです。
$v_{だ}=bv{\_}_{だ}+(1-\beta )dW$
$v_{db}=bv{\_}_{db}+(1-\beta )db$
$W=W-\alpha v{\_}_{だ};b=b-\alpha v{\_}_{db}$
指数加重平均法を使用して局所勾配平均値を取得し、パラメーター更新用に元の単一反復勾配値を置き換えます。物理学の運動量の概念を借用し、パラメータの最適化を丘からボールを​​押し落とすタスクとして想像します。勾配の値はボールの加速度に似ています。前後の勾配の方向が一致していれば、学習は可能です。前後の勾配の方向が不一致の場合、変動が抑えられます。

RMSプラグ

運動量最適化アルゴリズムは、パラメーターの最適化プロセスにおける大きなスイングの問題を最初は解決しましたが、いわゆるスイングとは、最適化および更新後のパラメーターの範囲を指します。モメンタム最適化アルゴリズム。緑色は RMSprop 最適化アルゴリズムによって取られるルートです。

RMSprop の式は次のとおりです。
$S_{だ}=\beta S{\_}_{だ}+(1-\beta )\left(dW\right)\_{}^2$
$S_{db}=\beta S{\_}_{db}+(1-b)(db{)}^2$
$W=W-ある\frac{dW}{\sqrt{S_{だ}}};b=b-ある\frac{db}{\sqrt{S_{db}}}$
RMSprop 勾配降下法では、まず指数加重平均法を使用して勾配二乗の加重平均を取得し、次に勾配比の平方根を使用して重みパラメーターを更新します。
RMSprop アルゴリズムは、勾配の差分二乗加重平均を計算します。このアプローチは、大きなスイング振幅の方向を排除するのに有益です(dW と db に比較的大きな値がある場合、重みまたはバイアスを更新するときに、その前に蓄積された勾配の平方根で除算され、更新されます)振幅は Small になります)。これはスイング範囲を補正するために使用され、各次元のスイング範囲が小さくなり、一方でネットワークの収束が速くなります。

アダム

Adam 最適化アルゴリズムは基本的に RMSprop と Momentum を組み合わせたもので、具体的な計算プロセスは次のとおりです。

1. 勾配$dW、db$ ;$\_$
2. 運動量の指数加重平均を計算します$v_{だ}=b_{}{v}_{だ}+(1-b_{})dW$ ,$v_{db}=bv{\_}_{db}+(1-b)db$ ;
3. RMSprop を使用して更新します。$S_{だ}=b_{}3S\_{\_}_{だ}+(1-b_{})(dW{)}^2$，$S_{db}=\beta S{\_}_{db}+(1-b)(db{)}^2$；
4. 偏差補正を行い、$v_{dW\_}^{修正しまし}=\frac{v_{dW}}{1-b_1^{}}、v_{db\_}^{修正しまし}=\frac{v_{db}}{1-b_1^{}}、S_{dW\_}^{修正しまし}=\frac{S_{dW}}{1-b_2^{}}、S_{db\_}^{修正しまし}=\frac{S_{db}}{1-b_2^{}}$;
5. 权值更新を実行します、$W=W-ある\frac{v_{dW\_}^{修正しまし}}{\sqrt{S_{dW\_}^{修正しまし}}+ϵ}、b=b-ある\frac{v_{db\_}^{修正しまし}}{\sqrt{S_{db\_}^{修正しまし}}+ϵ}$

Adam アルゴリズムは RMSprop と Momentum を組み合わせたもので、さまざまなニューラル ネットワークで非常に一般的に使用される学習アルゴリズムです。

参考リンク：

https://blog.csdn.net/wo164683812/article/details/90382330
https://www.zhihu.com/question/36301367
https://blog.csdn.net/weixin_44492824/article/details/122270260
https:/ /www.zhihu.com/question/305638940/answer/1639782992
https://www.zhihu.com/question/305638940/answer/606831354
https://zhuanlan.zhihu.com/p/36564434