四逆伝搬式:
最終的な目的は、順番にB、WコストCのバックプロパゲーション最小最適値が神経細胞エラー神経細胞C zの間の関係として定義されるδ_j^ Lに導入誤差の計算を容易にすることを得ることである。
定義上述したように、Lは、ニューラルネットワークの層の数であり、Zの偏導関数にニューロンC(合計エラー)を犠牲に誤差が、Jは、いくつかのニューロンの最初のものである;
ここで、正方形を使用してコスト関数(損失関数)エラーので、Cは、に等しいです。
BP1
この式はエラーをニューラルネットワークのニューロンの最後の層を見つけるために使用され、以下の式は、最後のニューロン層ニューロンの(出力層)がエラーBP1を見つけるために使用されます。
このようにして得られた4つの方程式は、連鎖ルールBP1の正面を与えるアピール
BP1 Lは、取得したニューラルネットワークの最後の層で得られたこのネットワークと私たちの最後の層ではここで、L = 3、3です。
BP2
BP1およびBP2同様に、異なるBP1は、最終的な層のニューロンのエラーを見つけるために使用されており、次式が第二層BP2ニューロンを見つけるために使用されることにより、フロントBP2 L層は、層ニューロンの誤差を持っている見つけるために使用されます最初のニューロン誤差;
同様に、我々はまた、連鎖ルールによって導出することができます。
彼らは以下のとおりです。
だからあなたが得ることができます:
変換式は、マトリックスパターンである、第二の層のニューロンは、エラーを持っています。
我々は、BP3とBP4 BP1およびBP2にすることができるでしょう。
BP1およびBP2によって式BP3、BP4を介して容易にWおよびB得ることができます。
BP3
この式は、それが式にBP2 BP2 BP3ここで取得された直後に、Cの重量に誤差の偏微分を見出すために使用され得ることができます。
BP4
BP4にBP2を得るように引き込まれるオフセットbにエラー偏導関数、BP4とBP3を求めるC。
得られたバックプロパゲーション勾配が使用されるコスト関数(損失関数)を計算する方法与えられ、次の手順を実行:
データの計算
まず、前方に広がります
図1に示すように、第2の層が算出される
マトリクス状に:
図2に示すように、算出された第3層
がマトリクス状に:
第二に、計算エラー
現在使用中の損失関数(費用関数)の広場;
第三に、出力層ニューロンの誤差を計算し
マトリックス:
输出层第一个神经元误差δ_1^3:
输出层第一个神经元误差δ_2^3:
四、计算其余层神经元误差
矩阵形式:
五、计算误差C关于w、b的梯度
此处用的是BP3与BP4公式,在计算出BP1与BP2后将其带入到公式中即可计算出C关于w、b的梯度;
矩阵形式:
矩阵形式:
更新w、b公式:
在计算出误差C关于每个权重每个偏置的偏导数后再使用得到的值带入上述公式更新每一个w、b即可,在更新完成w、b后如误差达到指定精度或epochs则继续执行上述的2-5步骤直到误差满意或指定epochs为止;