[ディープラーニング] バックプロパゲーションの基本ガイドライン

実はこれ、ずっと記録しておきたいと思っていた疑問なのですが、「深くてシンプルなニューラルネットワークとディープラーニング」という本で分かりやすく解説されていました。最近実行したルーチンと組み合わせて、視覚的に確認してみましょう。

多くの書籍の紹介では、ディープ ラーニングにおけるバックプロパゲーションはブラック ボックスとして扱われており、ユーザーはネットワークをトレーニングするための重みを更新するためにバックプロパゲーションを使用できることだけを知っていれば十分です。しかし、この種のトレーニングの基本的なメカニズムの本質は、実際にはニューラル ネットワーク自体の解釈を構成しており、この解釈はニューラル ネットワークの適用性と拡張性を理解するための鍵となるため、この記事ではそれを拡張することにしました。

ネットワーク構造とパラメータ定義

特定の逆伝播メカニズムを導き出す前に、まずネットワーク構造の定義を与えます。

単純な 3 層ネットワーク構造を例に挙げます。最初の層は入力層であり、ここでは 3 つの入力ニューロンがあると仮定しています。2 番目の層は隠れ層(または中間層) であり、ネットワークがより複雑な特徴抽出操作、いわゆる深層抽出操作を実行していることを意味します。ネットワーク、つまり複数の隠れ層がありますニューラル ネットワーク、ネットワークを深化させると非線形表現能力が向上します; 3 番目の層は出力層で、出力される 2 つの活性化値が入力コスト関数と比較されます。期待値とエラー結果を出力します。

前のセクションのパーセプトロン モデルでは、接続の重みがすでにわかっています$w$、バイアス$b$と活性化関数$\sigma$に対応する$によって$形成される基本方程式多層パーセプトロンで構成されるニューラル ネットワークの場合、単一ノードのこの方程式は変わりません。ベクトル形式を使用して、特定の層の活性化値の生成をより簡潔に表現します。

$${ある}_{}=s(w^{彼}{に}^{l-1}+b^l)ここで、重み付けされた入力z{}^{私}=w^{彼}{に}^{l-1}+b^{私}$$

つまり、層間の接続重みの内積と、上位層の活性化値にこの層のバイアスを加えたものが、この層の重み付き入力zlz^{l}になります。$z^l$、そして重み付けされた入力は活性化関数を通過して層の活性化値を取得します。

行列演算記号の補足Adamar 積または Schur 積$\odot$。これにより、式の記述が簡素化されます。

SSを想定して$s$と$t$が同じ次元の 2 つのベクトルである場合、$s\odot t\; は$要素ごとの積を表します。つまり$(s\odot t{)}_{}=s_{}{t}_{}$

例は次のとおりです。

$$[\begin{array}{c}1\\ \end{array}】\odot [\begin{array}{c}3\\ \end{array}】=[\begin{array}{c}1\ast 3\\ 2\ast \end{array}】=[\begin{array}{c}3\\ \end{array}】$$

方程式の導出

実際、バックプロパゲーションでは重みとバイアスを変更してコスト関数を制御する方法を検討しており、その最終的な意味は偏導関数$\partial C/\partial w_{jk}^{}$和$\partial C/\partial b_j^{}$。啓発的な認識 - $\partial C/\partial z_j^{}$ニューロンエラーの尺度です(ここでは$z_j^{}$式の誤差は、後続の方程式形式を簡略化したものです)、つまり$l$レイヤー$j\; 個$のニューロン$d_j^{}$定義:
$$d_j^{}\equiv \frac{\partial C}{\partial z{\_}_j^{}}$$

慣例により、$d^l$はllと同じ意味です$層l$に関連付けられた誤差ベクトルδ l \delta^{l} の逆伝播を使用して計算できます$d^l$を計算し、これらの誤差を実際に必要な量$\partial C/\partial w_{jk}^{}$和$\partial C/\partial b_j^{}$接続する。

証明プロセスを開始する前に、まずバックプロパゲーション方程式に関する次の 4 つの式を与えます。

要約:バックプロパゲーション方程式

$$d^L={\nabla }_{}C\odot p^{\text{'}}\left(z^L\right)出力層エラー\left(1\right)$$

$$d^{私}=((w^{l+1}{)}^{T\delta }{\_}^{l+1})\odot p^{\text{'}}(z^l\left)フロントパスエラー\right(2)$$

$$\frac{\partial C}{\partial b{\_}_j^{}}=d_j^{}バイアス変化率\left(3\right)$$

$$\frac{\partial C}{\partial w{\_}_{jk}^{}}={ある}_k^{l-}{d}_j^{}体重の変化率\left(4\right)$$

一つずつ証明していきましょう。核となる多変量微積分の連鎖規則を覚えておいてください。

(1) 出力層エラー

出力層誤差の場合、δ j L = ∂ C ∂ zj L \delta_{j}^{L} = \frac{\partial C}{\partial z_{j}^{L}} として定義されます。
$$d_j^{}=\frac{\partial C}{\partial z{\_}_j^{}}$$
このうち、L はネットワークの層数であり、これは出力層の j 番目のニューロンでのエラーを意味します。実際、上記の偏微分値を出力活性化値の偏微分値で書き直すことができます。つまり、
$$d_j^{}=\underset{k}{}\frac{\partial C}{\partial a{\_}_k^{}}\frac{\partial a{\_}_k^{}}{\partial z{\_}_j^{}}$$
ここで、合計は出力層のすべてのニューロンに対して実行されます。もちろん、$k$個のニューロン${ある}_k^{}$k = jk =jにのみ依存します$k=時間j$ L z_{j}^{L}における j 番目のニューロンの入力重み zj$z_j^{}$したがって、$k\ne j$時$\partial a{\_}_k^{}/\partial z{\_}_j^{}$存在しません (つまり、影響なしは 0)。したがって、方程式は
$$d_j^{}=\frac{\partial C}{\partial a{\_}_j^{}}\frac{\partial a{\_}_j^{}}{\partial z{\_}_j^{}}$$
これは、ニューロンの誤差が、ニューロンの活性化値に対する損失関数の偏導関数と、ニューロンの重み付けされた入力に対する活性化値の偏導関数(つまり、この時点では活性化関数です)。aj L = σ ( zj L ) a_{j}^{L} = \sigma (z_{j}^{L}) に基づく${ある}_j^{}=s\left(z_j^{}\right)$の場合、右側の 2 番目の項目は
$$p_j^{}=\frac{\partial C}{\partial a{\_}_j^{}}{p}^{\text{'}}\left(z_j^{}\right)$$
上記の式を出力層の各ニューロンに拡張し、アダマール積を使って表現すると、式 (1) の形、つまり δ L = ∇ a C ⊙ σ ′ ( z L ) \delta が得られます
$$d^L={\nabla }_{}C\odot p^{\text{'}}\left(z^L\right)$$

(2) フロント層転送エラー

これは、バックプロパゲーション アルゴリズムにおける「リバース」という言葉の意味を最もよく説明する式になるはずです。つまり、誤差は後ろから前に渡されます。具体的には、次の誤差層$d^{l+1}$は誤差$d^l$。同様に、δ kl + 1 = ∂ C / ∂ zkl + 1 \delta^{l+1}_{k} = \partial{C} / \partial z_{k}^{l+1} を使用します。$d_k^{l+}=\partial C/\partial z_k^{l+}$重写$d_j^{}=\partial C/\partial z_j^{}$δ jl = ∂ C ∂ zjl = ∑ k ∂ C ∂ zkl + 1 ∂ zkl + 1 ∂ zjl = ∑ k ∂ zkl + 1 ∂ z jl δ kl + 1 \begin{aligned } \delta_j^l &=\frac とします。
$$\begin{array}{rl}{d}_j^{}& =\frac{\partial C}{\partial z{\_}_j^{}}\\ & =\underset{k}{}\frac{\partial C}{\partial z{\_}_k^{l+}}\frac{\partial z{\_}_k^{l+}}{\partial z{\_}_j^{}}\\ & =\underset{k}{}\frac{\partial z{\_}_k^{l+}}{\partial z{\_}_j^{}}{d}_k^{l+}\end{array}$$
最後の行は、右側の 2 つの項を交換し、$d_k^{l+}$の定義により、対応して下位層エラーの置換が実現されます。最後の行を評価するには、
$$z_k^{l+}=\underset{j}{}{w}_{kj}^{l+}{ある}_j^{}+b_k^{l+}=\underset{j}{}{w}_{kj}^{l+}p\left(z_j^{}\right)+b_k^{l+}$$
これを微分すると
$$\frac{\partial z{\_}_k^{l+}}{\partial z{\_}_j^{}}=w_{kj}^{l+}{p}^{』}\left(z_j^{}\right)$$
元の式に戻ると、
$$d_j^{}=\underset{k}{}{w}_{kj}^{l+}{d}_k^{l+}{p}^{』}\left(z_j^{}\right)$$
これも (2) のコンポーネント形式です。アダマール積演算子を導入した後、誤差を後層から前層に転送するベクトル形式、つまり δ l = ( ( wl + 1 ) を書くことができます。 T δ l +
$$d^{私}=((w^{l+1}{)}^{T\delta }{\_}^{l+1})\odot p^{\text{'}}(z^l)$$

(3) バイアスの変化率

前の 2 つのステップの証明と同様に、この時点の証明も連鎖律を適用して展開されていると想像できます。δ jl = ∂ C ∂ zjl = ∂ C ∂ bjl ∂ bjl ∂ zjlを考慮すると
$$d_j^{}=\frac{\partial C}{\partial z{\_}_j^{}}=\frac{\partial C}{\partial b{\_}_j^{}}\frac{\partial b{\_}_j^{}}{\partial z{\_}_j^{}}$$
その中で、 zjl z_{j}^{l} は次のとおりです。$z_j^{}$展开
$$z_j^{}=\underset{k}{}{w}_{jk}^{}{ある}_k^{l-}+b_j^{}$$
両側が同時に$b_j^{}$偏導関数を求めます。なぜなら、$w_{jk}^{}$bjl b_{j}^{l}と$b_j^{}$それぞれは自由に変更できる変数であるため、関係ありません。つまり
$$\frac{\partial z{\_}_j^{}}{\partial b{\_}_j^{}}=1$$
次に、(3)の証明です。
$$\frac{\partial C}{\partial b{\_}_j^{}}=d_j^{}$$

(4) 重量変化率

(3) の証明と同様に、
$$d_j^{}=\frac{\partial C}{\partial z{\_}_j^{}}=\frac{\partial C}{\partial w{\_}_{jk}^{}}\frac{\partial w{\_}_{jk}^{}}{\partial z{\_}_j^{}}$$
同样，将$z_k^{}$展开
$$z_j^{}=\underset{k}{}{w}_{jk}^{}{ある}_k^{l-}+b_j^{}$$
両側同時に$w_{jk}^{}$偏導関数$w_{jk}^{}$bjl b_{j}^{l}だけではありません$b_j^{}$は他の重みとは関係がなく、それ自体とのみ関係があるため、次のようになります:
$$\frac{\partial z{\_}_j^{}}{\partial w{\_}_{jk}^{}}={ある}_k^{l-}$$
変換後、(4)
$$\frac{\partial C}{\partial w{\_}_{jk}^{}}={ある}_k^{l-}{d}_j^{}$$

まとめ

上記の証明プロセスを通じて、バックプロパゲーション アルゴリズムを通じてエラーを層ごとに戻し、重みとバイアスの数学的原理を更新する方法を簡単に確認できます。

ここで方程式 (1) を振り返り、その成分形式で項$p^{\text{'}}(z_j^{}）$。シグモイド関数のグラフを振り返ると、$s\left(z_j^{}\right)$が約 0 または 1 の場合、シグモイド関数は非常に滑らかになり、$p^{\text{'}}\left(z_j^{}\right)\approx 0$。したがって、出力ニューロンが小さな活性化値 (約 0) または大きな活性化値 (約 1) にある場合、最終層の重み学習は非常に遅くなります。が飽和すると、重み学習も終了し (または学習が非常に遅くなり)、出力ニューロンも同様にバイアスされます。式 (3) と (4) を振り返ると、重みとバイアスの更新は実際には誤差 σ ($s\left(z_j^{}\right)$ 、出力層の場合、誤差は活性化関数σ ′ ( zj L ) \sigma^{\prime}(z_{j}^{L}) の導関数に依存します。$p^{\text{'}}(z_j^{}）$、飽和状態では学習が難しくなります。

最後に (2) を見てみましょう。(2) の項$p^{\text{'}}\left(z_j^{}\right)$、これは、エラーがフロント層に戻されるときに、アクティベーション関数の微分値で乗算されることを意味します。シグモイド関数の場合、微分値が 0 から 1 の間であることがわかります。ネットワークの層数が多い場合、出力層から浅い層に伝播するときに誤差が減少することがわかります。何度も繰り返すと、最終的には誤差が無視できるレベル (0 に近いレベル) に低下するため、浅い学習が非常に困難になります。これが勾配消失。

また、出力層ニューロン飽和シナリオの分析と一致して、介在ニューロンの飽和も$d_j^{}$σ ′ ( zjl ) \sigma^{\prime}(z_{j}^{l})なので小さくなる$p^{\text{'}}(z_j^{}）$は非常に小さいです。つまり、飽和ニューロンへの重み入力についてはゆっくりと学習します。

バックプロパゲーション方程式はどの活性化関数にも有効です。コスト関数の議論は別の内容であるためここでは無視しますが、上記の推論自体は特定のコスト関数とは何の関係もないことが証明できます。同時に、新しいアイデアが生まれる可能性があり、アプリケーションによってはシグモイド関数が理想的な活性化関数として適切ではない可能性があります。実際、特定の学習特性を備えた活性化関数の設計は、ニューラル ネットワークの重要な部分です。

観察してみる

ここでは、ニューラル ネットワークで重みの反復更新を具体的に観察する方法を説明する簡単な例を示します。これは、非線形フィッティングにニューラル ネットワークを使用する例です。

まず、次のようにノイズの多い正弦波信号 (非線形信号) を生成します。

x = torch.unsqueeze(torch.linspace(-np.pi, np.pi, 100), dim = 1) # 构建等差数列
y = torch.sin(x) + 0.5*torch.rand(x.size())  # 条件随机数

次に、ネットワーク構造を定義します。

class Net(nn.Module):  # 定义类，存储网络结构
    def __init__(self):
        super(Net, self).__init__()
        self.predict = nn.Sequential(
            nn.Linear(1,10),  # 全连接层，1个输入，10个输出
            nn.ReLU(),  #ReLU激活函数
            nn.Linear(10,1)  # 全连接层，10个输入，1个输出
        )

ここで使用する活性化関数は ReLU 関数です. ReLU はシグモイド関数に比べて正区間での勾配消失の問題がなく, 関数の導出も比較的簡単です. CNN ネットワークでよく使用される活性化関数です.

トレーニング中に、モジュールを呼び出して層を走査することで、完全に接続された層に対応する重みを取得できます。対応するコードは次のとおりです。

        # 输出权重变化，net.modules返回的是generator类型
        for layer in net.modules():
            if isinstance(layer, nn.Linear):
                print(layer.weight)

プロセス全体のコードは次のとおりです。

# 这是一个用神经网络进行函数拟合的函数
import  numpy as np
import torch
import torch.nn as nn
import matplotlib.pyplot as plt

x = torch.unsqueeze(torch.linspace(-np.pi, np.pi, 100), dim = 1) # 构建等差数列
y = torch.sin(x) + 0.5*torch.rand(x.size())  # 条件随机数

class Net(nn.Module):  # 定义类，存储网络结构
    def __init__(self):
        super(Net, self).__init__()
        self.predict = nn.Sequential(
            nn.Linear(1,10),  # 全连接层，1个输入，10个输出
            nn.ReLU(),  #ReLU激活函数
            nn.Linear(10,1)  # 全连接层，10个输入，1个输出
        )

    def forward(self,x):  # 定义前向传播过程
        prediction = self.predict(x)  # 将x传入网络
        return prediction


net = Net()
optimizer = torch.optim.SGD(net.parameters(), lr = 0.05)  # 设置优化器
loss_func = nn.MSELoss()  # 设置损失函数
plt.ion()   # 打开交互模式

for epoch in range(1000):
    out = net(x)   # 实际输出
    loss = loss_func(out, y)  # 实际输出和期望输出传入损失函数
    optimizer.zero_grad()  # 清除梯度
    loss.backward()  # 误差反向传播

    optimizer.step()  # 优化器开始优化
    if epoch % 25 == 0:  # 每25epoch显示
        plt.cla()   # 清除上一次绘图
        plt.scatter(x,y)  # 绘制散点图

        # 输出权重变化，net.modules返回的是generator类型
        for layer in net.modules():
            if isinstance(layer, nn.Linear):
                print(layer.weight)

        plt.plot(x, out.data.numpy(), 'r', lw = 5 )  # 绘制曲线图
        plt.text(0, 0 , f'loss={
      
      loss}',fontdict={
    
    'size':20,'color':'red'})  #  添加文字来显示loss值

        plt.pause(0.1) # 显示时间0.1s

    plt.show()

plt.ioff()  # 关闭交互模式
plt.show()  # 定格显示最后结果

グラフィカル インターフェイスにリアルタイムで表示されるフィッティング効果を確認でき、損失値が減少するにつれて、ネットワークは徐々に正弦曲線の形状にフィットしていきます。

コンソールでは出力ネットワークの重みも確認できます。ここでは、前回のトレーニングで得られた重みを例にとりますが、前回とは異なる 10×1 (1→10) の重み行列と 1×10 (10→1) の重み行列が表示されます。定義. の 2 つの完全に接続された層のネットワーク構造は、正確に対応しています。

---

参考文献：
『Python Neural Network and Deep Learning』 著者：[オーストラリア] Michael Nielsen 翻訳者：Zhu Xiaohu 第 2 章
「Python ニューラルネットワークの入門と実戦」 著者：Wang Kai 第 7 章