bp ニューラルネットワークの精度を向上させ、bp ニューラルネットワークのスキームを改善する方法

1. BP ニューラルネットワークの中心的な問題は何ですか?その長所と短所は何ですか?

人工ニューラルネットワークは、人間の脳の構造と機能を模倣するように設計された情報処理システムです. 人工ニューラルネットワーク手法を使用してパターン認識を実現します. 環境情報が非常に複雑で背景知識が不明確な問題を処理できます.ニューラルネットワーク法では、サンプルに大きな欠陥や歪みを持たせることができます. ニューラルネットワークには多くの種類があります. ニューラルネットワークモデルを確立する際には、研究の特性に応じてさまざまなニューラルネットワークモデルを考慮することができます.オブジェクト. フィードフォワード BP ネットワーク、つまり、エラーバックプロパゲーションニューラルネットワークは、最も一般的に使用され、人気のあるニューラルネットワークです. BP ネットワークの入力と出力の関係は、マッピング関係と見なすことができます. つまり、入力の各セットはセットに対応します. BP アルゴリズムは、最も有名な多層順方向ネットワークトレーニングですアルゴリズムには、収束速度が遅い、局所極値が発生するなどの欠点がありますが、さまざまな改善策を使用して、収束速度を改善し、局所極値の現象を克服することができます。単純さ、操作の容易さ、計算量の少なさ、および強力な並列性という特徴があります. は、依然として多層フィードフォワードネットワークの推奨アルゴリズムです.

多層フォワード BP ネットワークの利点:
ネットワークは本質的に入力から出力へのマッピング関数を実現し、数学的理論はそれが複雑な非線形マッピングを実現する機能を持っていることを証明しています。これにより、複雑な内部メカニズムの問題を解決するのに特に適しています。
ネットワークは、正解で設定された例を学習することにより、「合理的な」解決ルールを自動的に抽出できます。つまり、自己学習能力があります。
ネットワークには、促進および一般化する一定の能力があります。
多層前方 BP ネットワークの問題:
数学的には BP アルゴリズムは局所探索最適化手法ですが、解くべき問題は複雑な非線形関数の大域極値を解くことなので、このアルゴリズムは局所極値に陥り、トレーニングの失敗;
ネットワークの近似および一般化機能は、学習サンプルの典型性と密接に関連しており、問題から典型的なサンプルインスタンスを選択してトレーニングセットを形成することは非常に困難な問題です。
アプリケーション問題のインスタンス規模とネットワーク規模の矛盾を解決することは困難です。これには、ネットワーク容量の可能性と実現可能性の関係、つまり学習の複雑さの問題が含まれます。
ネットワーク構造の選択に関する統一された完全な理論的ガイダンスはなく、一般的には経験によってのみ選択できます。このため、ニューラルネットワークの構造選択を芸術と呼ぶ人もいます。ネットワークの構造は、ネットワークの近似能力と汎化特性に直接影響します。したがって、アプリケーションで適切なネットワーク構造を選択する方法は重要な問題です。
新しく追加されたサンプルは、正常に学習されたネットワークに影響を与える必要があり、各入力サンプルを記述する機能の数も同じでなければなりません。
ネットワークの予測能力（汎化能力、推進能力ともいう）と訓練能力（近似能力、学習能力ともいう）の矛盾。一般に、訓練能力が低いと予測能力も低く、訓練能力が向上すると予測能力もある程度向上する。しかし、この傾向には限界があり、この限界に達すると、トレーニング能力が高まるにつれて、代わりに予測能力が低下する、いわゆる「オーバーフィッティング」現象が発生します。現時点では、ネットワークが学習したサンプルの詳細が多すぎて、サンプルに含まれる法則を反映できません。
BP アルゴリズムは本質的に勾配降下法であり、最適化する必要がある目的関数は非常に複雑であるため、BP アルゴリズムを非効率にする「のこぎり歯現象」が必然的に発生します。
麻痺があります。最適化された目的関数は非常に複雑であるため、ニューロンの出力が 0 または 1 に近づくと、必然的にいくつかの平坦な領域が現れます。これらの領域では、重みの誤差がほとんど変化せず、トレーニングプロセスがほとんど停止します。
ネットワークに BP アルゴリズムを実装させるために、従来の 1 次元探索法を使用して各反復のステップサイズを見つけることはできませんが、ステップサイズの更新規則を事前にネットワークに与える必要があります。アルゴリズムは非効率的です。

Google AI ライティングプロジェクト: Little Fat Cat

2. bp ニューラルネットワークの欠点

1) 局所最小化問題: 数学的な観点から、従来の BP ニューラルネットワークは局所探索最適化手法であり、複雑な非線形問題を解決します. 徐々に調整すると、アルゴリズムが局所極値に陥り、重みがbp ニューラルネットワークを改善する方法. さらに, BPニューラルネットワークはネットワークの初期重みに非常に敏感です. 異なる重みでネットワークを初期化すると, 異なる極小値に収束する傾向があります. これは, 多くの学者が訓練するたびに異なる結果を得ている根本的な理由でもあります.
2) BP ニューラルネットワークアルゴリズムの収束速度が遅い: BP ニューラルネットワークアルゴリズムは本質的に勾配降下法であるため、最適化される目的関数は非常に複雑であるため、必然的に「ノコギリ現象」が発生します。これは BP アルゴリズムを低くします. 最適化された目的関数は非常に複雑であるため, ニューロンの出力が 0 または 1 に近づくと必然的にいくつかの平坦な領域が現れます. これらの領域では, 重み誤差はほとんど変化しないため, トレーニングはプロセスはほとんど停止します。
3) BP ニューラルネットワーク構造のさまざまな選択: BP ニューラルネットワーク構造の選択に関する統一された完全な理論的ガイダンスはまだなく、一般的には経験によってのみ選択できます。ネットワーク構造が大きすぎると、学習効率が高くなく、オーバーフィッティングが発生してネットワークパフォーマンスが低下し、フォールトトレランスが低下する可能性があり、ネットワーク構造が小さすぎると、ネットワークが収束しない可能性があります。ネットワークの構造は、ネットワークの近似能力と汎化特性に直接影響します。したがって、アプリケーションで適切なネットワーク構造をどのように選択するかは重要な問題です。
4) アプリケーションインスタンスとネットワークスケールの間の矛盾: BP ニューラルネットワークは、アプリケーション問題のインスタンススケールとネットワークスケールの間の矛盾を解決することは困難です。つまり、学習の複雑さの問題です。
５）ＢＰニューラルネットワークの予測能力と訓練能力の矛盾：予測能力は汎化能力または推進能力とも呼ばれ、訓練能力は近似能力または学習能力とも呼ばれる。一般に、トレーニング能力が低いと予測能力も低くなります。

3. bp ニューラルネットワークは汎化能力を向上させますか? 方法はいくつありますか？

一般化能力を強化するためのいくつかの従来の方法は次のようにリストされています: 1. より多くの入力サンプルは一般化能力を向上させることができます;
しかし、あまりにも多くのサンプルはオーバーフィッティングと貧弱な一般化能力につながりません; サンプルには少なくとも 1 回限りの転換点データが含まれます.
2. 隠れ層のニューロン数の選択については、パフォーマンスに影響を与えないように、より少ない数のニューロンを選択してみてください。隠れ層にノードが多すぎるため、一般化能力が低下します. ロケットを構築するのに数十から数百のニューロンしか必要ありません.
3. 誤差が小さければ汎化能力は良好であり、誤差が小さすぎると過剰適合となり、汎化能力が低下します。
4. 学習率、特に重み付け学習率の選択は、ネットワークのパフォーマンスに大きな影響を与えます. 小さすぎると収束速度が非常に遅くなり、小さすぎると局所最小化に陥りやすくなります.大、収束速度は速いが、振りやすい、エラーを減らすのが難しい、一般的な重みの学習率は必要なエラーよりもわずかに大きい、さらに、変数の学習率を使用して学習を増やすことができます誤差が大きい場合は学習率を下げ、誤差が小さい場合は学習率を下げることで、収束が速くなり、学習効果が向上し、極小値に陥りにくくなります。
5. トレーニング中にいつでも停止する方法を使用できます。つまり、エラーが要件に達したときにトレーニングを終了し、オーバーフィッティングを回避します。ローカルの重みを調整して、ローカルの未収束の収束を高速化できます。

4. bp ニューラルネットワークには、何種類のアルゴリズムの改善がありますか? 例を教えてください！

改善点は主に以下の点です。
1.活性化関数の傾き———————————————————————————————— ————————————————————————————————————————————————— ————————————————————————————————————————————————— ——————————————————————— 因子、励振関数としての区分関数2 誤差曲面————— 目的関数としての誤差二乗、遅い近似速度、オーバーフィッティング— ————————————————— 標準誤差関数におけるペナルティ項目の追加————————————————— 情報距離と汎化の関係新しいニューラルネットワークの学習関数を構築する能力3 ネットワークの初期重みの選択————— ———通常は [0,1] から選択、極小値に陥りやすい——————————— ——————複合アルゴリズムは初期重みを最適化します—————————— ———————最適な初期重みを得るためにコーシーの不等式と線形代数法4 改善された最適化アルゴリズム——————— — 標準 BP は勾配降下法を採用し、極小収束は遅い—————— ————————— 共役勾配法、ニュートン法、Gauss-Ncwton 法、Lvenber_Marquardt 法、高速伝搬アルゴリズム———— ————————————— フィードフォワードネットワーク学習アルゴリズム、2 次学習アルゴリズム、3 項目 BP アルゴリズム、最適な学習パラメータの BP アルゴリズム。5. ネットワーク構造の最適化———————— ネットワーク層数、各層のノード数、トポロジ構造におけるノードの接続形態の不確実性—————————— ————————————————————————————————————————————————— ————————————————————————————————————————————————— —————————————————— 施工方法や剪定枝法から（加重減衰法、感度計算法———————————— ————————————————————————————————————————————————— ————————————————————————————————————————————————— ————————————————————————————————————————————————— ————————————————————————————————————————————————— —————————

———————および遺伝的アルゴリズム、進化計算、人工免疫アルゴリズム、アリコロニーアルゴリズム、粒子群アルゴリズム、
—————— ファジー数学、ウェーブレット理論、カオス理論。セルラーニューラルネットワーク

5.改良型BP人工ニューラルネットワークアルゴリズムに基づく軟弱地盤沈下予測

改善された BP ニューラルネットワーク予測では、等間隔のデータが必要であり、モデリングにスプライン補間ポイントを使用します。前述の方法の予測効果と比較するために、550-665d (合計 24 サンプルデータ) の決済ボリュームが引き続きトレーニングサンプルとして選択され、670-745d (合計 16 サンプルデータ) の決済ボリュームが選択されます。 data) は、トレーニングサンプルとして予約されています。ニューラルネットワークのテストサンプルです。隣接する 4 つの連続した決済 (時間間隔 Δt=5 d) ごとに入力サンプル (S1、S2、S3、S4) として取り、すぐ隣接する 5 番目の決済をターゲットサンプル (S5) として、2 を使用して 4 つの元のデータを使用します。ポイント、21 セットのトレーニングサンプル入力ベクトルが構築されます。トレーニングサンプルの各セットの入力層ユニットの数は n=4、出力層ユニットの数は q=1 であり、隠れ層ユニットの数 p を決定する式は次のとおりです。

温州浅瀬軟弱地盤の工学的特性と圧密沈下法に関する研究

式中: a は 1 ～ 10 の定数です。

隠れ層のニューロンの数は、式 (5.57) によって p=3~12 として決定されます。その具体的な値は BP 人工ニューラルネットワークのトレーニングエラーによって判断され、最小のネットワークエラーに対応する隠れ層ニューロンの数が取得されます。

この本は、MATLAB 7.1 に基づいて改良された BP ニューラルネットワークプログラムをコンパイルし、標準の BP 人工ニューラルネットワークアルゴリズムに 2 つの改良 (運動量を追加する方法と学習率を適応的に調整する方法) を採用しています。変換後、正味入力の絶対値が大きすぎるためにニューロン出力が飽和するのを防ぎ、重み調整を誤差曲面の平坦領域に入るようにすることができます。入出力データを区間 [0, 1] の値に変換する正規化前処理変換式は、

温州浅瀬軟弱地盤の工学的特性と圧密沈下法に関する研究

数式では、xi は入力データまたは出力データ、xmin と xmax は最大値です。

入力または出力データの正規化された値。

BP ニューラルネットワークモデルのトレーニングカーブを図 5.17 に示します。

本書で確立した改善された BP ニューラルネットワークモデルの適合/予測値と測定値を表 5.13 に、適合/予測曲線と測定曲線の比較を図 5.18 に、残差図を示します。図 5.19 。

表 5.13 と図 5.18 および 5.19 から、改善された BP ニューラルネットワークモデルの予測結果の平均残差は 0.1 cm、平均相対誤差は 0.06% であることがわかります.フィッティングと予測の効果は非常に良好です. . ただし、これまでの予測方法とは異なり、改良された BP 人工ニューラルネットワークモデルの予測値は測定値よりもわずかに小さく、予測時間がトレーニングサンプルから遠く離れているため、結果が安全ではなくなります。この方法は、短期および中期の予測に使用することをお勧めします。同時に、後の段階で予測精度を高めるために、トレーニングサンプルベクトルセットを継続的に更新する必要があります。

図 5.17 N5+850 セクション BP ニューラルネットワークのトレーニング曲線

図 5.18 改善された BP 人工ニューラルネットワークモデルの予測曲線と N5+850 セクションでの測定曲線の比較

図 5.19 N5+850 区間改良 BP 人工ニューラルネットワークモデルの予測残差図

表 5.13 改善された BP ニューラルネットワークの予測値と測定値の比較

6. C言語実装*/遺伝的アルゴリズム改良BPニューラルネットワークの原理とアルゴリズムの実装方法

Genetic Algorithms にはかなり大きなリファレンスがあります。ゲームにおける遺伝的アルゴリズムの適用の現状遺伝的コーディングでは、タイルの座標は一般的に実数コーディングの遺伝子として使用されます.染色体の最初の遺伝子は始点座標であり、最後の遺伝子は終点座標です.真ん中の遺伝子はそれぞれタイルの座標です。染色体を生成するときは、始点から始めて、現在のノードの隣接ノードの中から通過可能なノードをランダムに選択し、その座標を染色体に追加するなどして、目的の点が見つかるまで染色体を生成します。指定した個体数に達するまで、上記の操作を繰り返します。遺伝的アルゴリズムの利点: 1. 遺伝的アルゴリズムは、決定変数のコーディングを操作オブジェクトとして使用し、セット、シーケンス、行列、ツリー、グラフなどの構造オブジェクトを直接操作できます。一方では、この方法は、生物学的遺伝子、染色体、および遺伝的進化のプロセスをシミュレートするのに役立ち、遺伝的演算子の適用を容易にします。一方、遺伝的アルゴリズムには、機能の最適化、生産スケジューリング、自動制御、画像処理、機械学習、データマイニングなどの分野など、幅広い用途があります。2. 遺伝的アルゴリズムは目的関数の値を検索情報として直接使用します。適応度関数値のみを使用して個人の優れた程度を測定し、目的関数値の導出および微分プロセスを含みません。実際には、多くの目的関数は導出が困難であるか、導関数がないため、遺伝的アルゴリズムの優位性も高くなります。3. 遺伝的アルゴリズムには、グループ検索の特徴があります。その検索プロセスは、複数の個体を持つ初期グループ P(0) から開始されます. 一方で、いくつかの不要なポイントの検索を効果的に回避できます. 一方、従来の単点探索法は多峰分布の探索空間を探索する際に単峰の局所的な極値点に陥りやすいため、遺伝的アルゴリズムの特徴であるグループ探索によりそのような問題を回避することができます。、だからできる遺伝的アルゴリズムの並列化とより良いグローバル検索を反映しています。4. 遺伝的アルゴリズムは、決定論的規則ではなく確率論的規則に基づいています。これにより、検索がより柔軟になり、検索効果に対するパラメーターの影響が可能な限り小さくなります。5. 遺伝的アルゴリズムにはスケーラビリティがあり、他の手法と簡単に組み合わせて使用できます。以上が最適化アルゴリズムとしての遺伝的アルゴリズムの利点です。遺伝的アルゴリズムの短所: 遺伝的アルゴリズムは、コーディング時に不規則で不正確な問題が発生する傾向があります。

7. Matlab の遺伝的アルゴリズムは bp ニューラルネットワークを改善します

あなたが提供したコードは、基本的な BP ニューラルネットワークトレーニングプロセスです。一般的にはGAでトレーニングを行い、その後運動量改善法を用いて最終的にゴールまでトレーニングを続けます。

遺伝的アルゴリズム（Genetic Algorithm）は、ダーウィンの生物進化論の自然淘汰と遺伝メカニズムをシミュレートした生物進化過程の計算モデルで、自然進化過程をシミュレートして最適解を探索する手法です。遺伝的アルゴリズムは、問題の潜在的な解セットを表す集団から始まります。集団は、遺伝子によってコード化された特定の数の個体で構成されます。個々の個体は、実際には染色体を持つ実体です。染色体は、複数の遺伝子の集合体である遺伝物質の主要な運搬体であり、その内部発現 (すなわち、遺伝子型) は、遺伝子の特定の組み合わせであり、個体の形状の外部発現を決定します。黒髪は染色体によって制御されており、形質は遺伝子の特定の組み合わせによって決定されます。

8. BP ニューラルネットワークの適用が不十分

ニューラルネットワークは、分類、クラスタリング、予測などに使用できます。ニューラルネットワークには一定量の履歴データが必要で、履歴データのトレーニングを通じて、ネットワークはデータに隠された知識を学習できます。問題では、最初に特定の問題のいくつかの特性と対応する評価データを見つけ、これらのデータを使用してニューラルネットワークをトレーニングする必要があります。
BP ネットワークは広く使用されていますが、主に次の問題を含むいくつかの欠陥や欠陥もあります。
まず、学習率が固定されているため、ネットワークの収束が遅くなり、長いトレーニング時間が必要になります。一部の複雑な問題では、BP アルゴリズムに必要なトレーニング時間が非常に長くなる場合があります。これは主に、学習率が小さすぎることが原因であり、可変学習率または適応学習率を使用して改善できます。
第 2 に、BP アルゴリズムは重みを特定の値に収束させることができますが、勾配降下法が局所的な最小値を生成する可能性があるため、それが誤差平面の全体的な最小値であることを保証するものではありません。この問題については、追加の運動量法を使用して解決できます。
第三に、層の数とネットワークの中間層のユニットの数の選択に関する理論的なガイダンスはなく、一般的に経験に基づいて、または実験を繰り返して決定されます。したがって、多くの場合、ネットワークには大きな冗長性があり、ネットワーク学習の負担もある程度増加します。
最後に、ネットワークの学習と記憶は不安定です。つまり、学習サンプルが追加された場合、トレーニング済みのネットワークを最初からトレーニングする必要があり、以前の重みとしきい値のメモリがありません。ただし、予測、分類、またはクラスタリングのより適切な重みを保存できます。