「人工ニューラルネットワークの原則」リーディングノート（4）-エラーバックプロパゲーションニューラルネットワーク

すべてのメモの要約：「人工ニューラルネットワークの原則」-読書メモの要約

1.エラーバックプロパゲーションニューラルネットワークの提案

非線形連続変換関数を使用して、隠れ層ニューロンに学習能力を持たせます。

2.エラーバックプロパゲーションニューラルネットワーク構造

相互接続構造

• BPニューラルネットワークは、フィードバックがなく、レイヤー内の相互接続がない3つ以上のレイヤーを持つフォワードネットワークです。レイヤー間のニューロンは完全に接続されており、各レイヤーのニューロン間には接続されていません。

BPニューラルネットワークは、トレーニングと学習にガイド付き学習方法を使用します。

BPニューラルネットワークで採用されている「エラーバックプロパゲーション学習アルゴリズム」は、誤差関数が勾配に従って下降する学習方法です。

3.エラーバックプロパゲーションニューラルネットワーク処理ユニット構造

4、エラーバックプロパゲーション学習アルゴリズム

BPニューラルネットワークの学習プロセス

• モードスプレッド
• エラーバックプロパゲーション
• 記憶力トレーニング
• 収束の学習

標準BP学習アルゴリズムの





極小問題BP学習アルゴリズム

• 現象
  学習を一定回数行った後、ネットワークの実際の出力と期待される出力には大きな誤差がありますが、どのように学習しても、ネットワークのグローバルエラーの変化が遅い、またはまったく変更されなくなりました。
• その理由は、
  BP学習アルゴリズムが誤差関数を使用して勾配に従ってアルゴリズムを学習するためです。
  
• 解決策
  BPニューラルネットワークの隠れ層のユニット数を適切に変更し、
  各初期接続の重みに小さな乱数を追加します。

5、エラー方向伝播学習アルゴリズムの数学的基礎

• 最急降下法

第六に、エラーバックプロパゲーション学習アルゴリズムの改善

BPアルゴリズムの問​​題

学習アルゴリズムの収束速度が遅い

• 学習速度は収束速度に影響します。学習速度が小さすぎるとネットワークの収束が遅くなり、学習速度が大きすぎるとネットワークが振動して収束に失敗します。
• 通常、学習率の値の範囲は$0。01〜1$。

極小値

• この問題は、接続ウェイトの初期値を小さく設定することで、可能な限り回避できます。

隠れ層の数とノードの数の選択には、理論的なガイダンスがありません。

トレーニング中に新しいサンプルを学習すると、古いサンプルを忘れる傾向があります。

累積エラー訂正アルゴリズム

基本的な考え方

• mmを計算する$m個の$学習モードペアの累積誤差合計$E={\sum }_{k=1}^{メートル}{E}^k$

累積エラー訂正のためのBPアルゴリズムとBPアルゴリズムの比較

• 累積エラー訂正BPアルゴリズムでは、各接続の重みとしきい値の訂正数が大幅に削減されます（各学習によりm − 1 m-1が削減されます$m-1$回補正）、特に学習モードが少ない場合に学習時間を短縮し、累積誤差BPアルゴリズムの収束速度はBPアルゴリズムよりも速くなります。
• 累積誤差BPアルゴリズムはmmに基づいています$m個の$学習モードペアの累積誤差と接続の重みの調整により、各学習モードの誤差を簡単に平均化し、ネットワークの振動を簡単に引き起こすことができます。

BPアルゴリズムを制限するシグモイド関数出力

基本的な考え方

• 接続重みの調整は、隠れ層の出力に関連しています。隠れ層の出力が0または1の場合、接続重みの補正量$\Delta の{ワット}_{IJ}$そして、$\Delta のV_{jt}$0の場合、補正効果はありません。
• 隠れ層の出力は、シグモイド関数の出力によって決定されます。
• シグモイド関数は
  、x <− 5 x <-5の場合、飽和した非線形出力特性を持ちます。$バツ<-5$、$F（xは）である$0に近い。
  際に$バツ>>+5$、$f（x）が$1に近い
  場合;xxの場合$x$が0に近い$場合$（$-5\le バツ\le 5$）、$f（x）は$実際に転送の役割を果たします。

シグモイド関数制限アルゴリズム

IF f(x)<=0.01
THEN
	f(x)=0.01
else
	IF f(x)>=0.99
	THEN
		f(x)=0.99
	ELSE
		f(x)保持不变

運動量項を増やすためのBPアルゴリズム

標準のBPアルゴリズムが接続の重みを調整する場合、この調整中のエラー勾配降下の方向のみが考慮され、前の調整中のエラー勾配の方向は考慮されないため、トレーニングプロセスが振動することが多く、収束が遅くなります。

基本的な考え方

• 接続重量を調整する場合、接続重量の調整を同じ方向に進めるために、前回の学習の調整量、すなわち運動量項を一定の割合で加算します。
• 変数項目は、トレーニングプロセスの変化に応じて接続重みの調整を平均方向に沿って徐々に変化させ$$\Delta W_{IJ}（n）=-\beta \cdot \frac{\partial E}{\partial W_{IJ}}+\eta （n）\cdot \Delta W_{IJ}（n-1）$$

学習率適応調整BPアルゴリズム

基本的な考え方

• 学習率は、BP学習アルゴリズムに影響を与える重要な要素の1つであり、トレーニングプロセス中に常に調整する必要があります
• エラーが減少し続け、ターゲットに近づく場合は、エラー修正方向が正しく、学習率を上げることができることを意味します。エラーが増加し続け、プリセット値を超える場合は、エラー修正方向が間違っていることを意味し、この時点で学習率を下げる必要があります。
• $K_{InはC}$学習率の増分係数、$K_{DEC}$学習率の減少係数$$\alpha （n+1）=\{\begin{array}{l}{K}_{InはC}\cdot \alpha （n）E（n+1）<E（n）\\ \\ K_{DEC}\cdot \alpha （n）E（n+1）\ge E（n）\end{array}$$

セブン、隠れ層の特徴抽出機能

隠れ層は、特徴抽出層とも呼ばれます。

隠れ層の各ニューロンには、さまざまな入力パターンの特徴を抽出し、抽出された特徴を出力層に転送する機能があります。

8、エラーバックプロパゲーションニューラルネットワークの主な能力

• 非線形マッピング機能
• 一般化
• 耐障害性

次の章ポータル：「人工ニューラルネットワークの原則」リーディングノート（5）-ホップフィールドニューラルネットワーク