BP アルゴリズムの数学的導出

開発 2023-07-16 14:01:07 訪問数: null

BP アルゴリズムは連鎖導出ルールに従って導出されますが、ここでは 2 層のニューラル ネットワーク構造を使用した逆導出プロセスを示します。

1. 2層ニューラルネットワーク構造（入力層を除く）

2. BPアルゴリズムの数学的導出

1. 前向き計算処理

入力レイヤー:  \large a_{0}=x

レベル1：  \large z_{1}=W_{1}*a_{0}

                \large a_{1}=シグモイド(z_{1})

2階：  \large z_{2}=W_{2}*a_{1}

                \large a_{2}=シグモイド(z_{2})

コスト関数:

\large J(W_{1},W_{2})=\frac{1}{2m}\sum_{i=1}^{m}(a_{2}-y)^{2}

2. 逆導出プロセス

W2 に関して偏導関数を計算します。\frac{\partial J(W_{1},W_{2})}{\partial W2}=\frac{1}{m}*(a_{2}-y)*\frac{\mathrm{d} sigmoid(z_{2})}{\mathrm{d} z_{2}}*a_{1}

W1 に関して偏微分を計算します。\frac{\partial J(W_{1},W_{2})}{\partial W1}=\frac{1}{m}*(a_{2}-y)*\frac{\mathrm{d} sigmoid(z_{2})}{\mathrm{d} z_{2}}*W_{2}*\frac{\mathrm{d} sigmoid(z_{1})}{\mathrm{d} z_{1 }}*a_{0}

ステップに分けて説明します。

W2の場合:    δ 2 = a 2 -y

                 \デルタ _{2}=\デルタ _{2}*シグモイド{}'(z_{2})

 \frac{\partial J(W_{1},W_{2})}{\partial W2}=\frac{1}{m}\Delta _{2}*a_{1}

W1 の場合:     \デルタ _{1}=\デルタ _{2}*W_{2}

                 \デルタ _{1}=\デルタ _{1}*シグモイド{}'(z_{1})

 \frac{\partial J(W_{1},W_{2})}{\partial W1}=\frac{1}{m}\Delta _{1}*a_{0}

勾配降下法は重みを更新します。

W_{2}=W_{2}-\alpha* \frac{\部分 J(W_{1},W_{2})}{\部分 W2}

W_{1}=W_{1}- \alpha* \frac{\部分 J(W_{1},W_{2})}{\部分 W1}

注: (1)\アルファは学習率であり、各ステップの下降範囲を調整するために使用されます。

       （2）\large シグモイド'(x)=シグモイド(x)[1-シグモイド(x)]

        

おすすめ

転載: blog.csdn.net/cxzgood/article/details/120834778
おすすめ
ランキング
[データベース] H2 DateBaseの使用を拡大します
この世界を行い、あなたは人々が軽蔑与えます
2109-Docker课上问题总结
nuxコマンドの概要sedコマンドの詳細な説明
関係図、資本図の開発
ログアウトし、すべて閉じブラウザ/タブを閉じます
プログラミングの基礎再テストアサルト
Camera Calibration in Computer Vision Algorithms
人工知能: あなたのための未来の仕事
検証メソッドpublic抽象...異常原因と解決のためのクエリに失敗しました：JavaのJPAは、java.lang.IllegalArgumentExceptionが報告しました
アーカイブ
もっと
2024-05-02(0)
2024-05-01(4)
2024-04-30(35)
2024-04-29(5)
2024-04-28(12)
2024-04-27(29)
2024-04-26(22)
2024-04-25(31)
2024-04-24(30)
2024-04-23(31)

コードワールド

© 2018 codetd.com