開発プロセスにおけるニューラルネットワーク、経験豊富な浮き沈み3回を持っている、それは非常に重要な理由であるが、ニューラルネットワークの利点と欠点が異なる時間に反映させるということです。理論的には、一つだけの隠れ層のニューラルネットワークを構成し、任意の関数を取り付けることができ、実際にはそれが一般的に使用されていません。多くの場合、データは、隠された層を有する多層ニューラルネットワークを用いてフィットさせました。
欠点及び効果的な措置
1は、早期に、BPアルゴリズムによるものが発明された、およびコンピューティングパワー限定し、ニューラルネットワークのサイズの確立が小さいので、ニューラルネットワークの性能もはるかに限られていました。1990年代には、BPアルゴリズムの発明した後、我々は学習のモデルを達成するための予測値と各ターゲットとの差を小さくするために、ニューラルネットワークの勾配降下最適化アルゴリズムの訓練を導くために、エラーによって、伝播をバック使用することができます。しかし、ニューラルネットワークのサイズが大きく、ほぼエラーがしばしば消失によって引き起こされるので、徐々に、隠れ層含むが徐々に、プロセスの勾配が消え、BPアルゴリズムを使用して、この時間の間、増加し、したがって前述のニューラルネットワークの重み場合このように制限されているデータのニューラルネットワークのフィッティングの精度をもたらす、更新されません。エラーニューラルネットワークを維持するために、研究者は、エラーが消える現象の出現なしに渡すことができるように、エラーを保持するために様々な戦略を提案しました。
図2に示すように、メインニューラルネットワークアーキテクチャからなるニューラルネットワークモデルの変数部分（すなわち、人工ニューラルネットワークは、どのように多くの層、隠れノードの各数は、どのように選択するように暗黙的に各ノードの活性化機能は、レイヤを選択しますどのように）など、間の接続は、通常の状況下では、良いニューラルネットワークを構築した後、ニューラルネットワークを訓練されたことは、より良い標的とするために、すべての後に、学習の層の間の重みとなり、学習アルゴリズム体重の多くを設計、勾配降下アルゴリズム、共役勾配法など、ニュートン法のL-型BMGs、準信頼領域法。ネットワークサイズの神経の継続的な拡大に伴い、ニューラルネットワークモデルは、大きな困難をもたらしている電車を与えるニューラルネットワークの自由度を高め、より多くのパラメータをご覧ください。複雑な神経回路網の訓練、我々は簡単に極小値に陥る可能と出ることができなかった研究者は、極小値にニューラルネットワークを訓練回避しようとする多くの方法を設計して、。
3は、例えば、2は複雑な神経回路網の構造、ニューラルネットワークモデルのフィット感、より多くの強力な能力と、言ったが、悪いことが多い、よく訓練データのパフォーマンスである機械学習操作は非常に致命的な問題である状況を、合わせて登場しますが、汎化能力は、パフォーマンスのデータでは見られない、悪いです。そのため、可能な限り、ニューラルネットワークの過学習の発生を回避するために、研究者は、それは多くの方法を提案しています。
従来の方法は非常にパラメータを増加させるため、データを増加させることであることを特徴とする（1）、パラメータ空間が完全になるようにデータ空間サンプルをカバーするために、指数関数的に増加させ、データの量は、そう、指数関数的に増加する必要が望んでいるデータの量を増加させることによって現象はほとんどありませんオーバーフィッティングを避けるために良いです。
（2）もう一つの方法は、停止までの時間を訓練して、訓練の過程にあるが、それは一般的にリアルタイムニューラルネットワークを監視するように設定汎化チェックポイントを必要とし、一般的にニューラルネットワークを訓練停止するかどうかを判断するために、クロスバリデーションを使用します。
別の方法（3）は正規化項、追加され、拘束を学ぶためにパラメータを追加し、可能な限りパラメータ空間の値減らすために機械学習方法では非常に一般的ですが、一般的に投げ縄正則、リッジ定期的にアイテムまたはアイテム弾性（2は正則化項の前に重み付け合成すること）。
なぜなら、その独特の構造的特性の（4）ニューラルネットワークの深さが、またすることができるトレーニングの反復ごとに、すなわち方法ニューラルネットワークのドロップアウトを簡略化するために用いられる、特定のノードの確率をマスクそう大きく、わずかにニューラルネットワークのノード間の相乗効果を回避する、より多様性、ニューラルネットワークの大集合に対応する差分の複数最終的に得られるの一般化を改善するようにニューラルネットワーク。
第二に、利点
1は、ニューラルネットワークは、場所は非常に強力ですが、完璧なフィット機能、あなたはどんな複雑な関数に近づくことができる、ニューラルネットワークは無限次元の寸法を達成することができますので、データを適合させる能力は非常に強力です。多くの場合、伝統的な機械学習方法を、既存の、ある程度では、ニューラルネットワークの特殊なケースです。等SVM、ロジスティック回帰、ニューラルネットワークのようにすることによって達成することができます。
2、ニューラルネットワークは、多くの隠れ層が含まれている隠された層だけでなく、多くの隠れノードを持っている、これ作るためのスキルは、ニューラルネットワークが非常に強いだけでなく、ベイズ理論的に表現されています、。層、またはベイジアンネットワークによって制限ボルツマンマシン層をトレーニングするニューラルネットワークの形で制限ボルツマンマシン、すなわち、のために、その結果、深さボルツマンマシン、ベイジアンネットワークの深さを構築することができさらにネットワークの特性評価機能を強化。これに基づき、いかなる人は、特に、後続の分類、検出、セグメンテーションおよびその他の機能のための抽象機能の絵が良いサポートを提供し、ニューラルネットワークは、教師学習データを特徴のできそうという、自己コード化されていませんでした機能を設定するが、ある程度に、従来の特徴抽出方法が依然としてニューラルネットワークの学習機能の参照溶液を提供することができるためです。
図3は、さらに、今入れ畳み込みニューラルネットワーク、リカレントニューラルネットワークは、さらにその強力な能力を反映して、特定の地域で特定の問題に対処することができ、より良い作り、ニューラルネットワークのパフォーマンスを向上させます。コンボリューションニューラルネットワーク、ある程度で、画像間には強い、地方、地域、遠くの小さな相関に関連付けられていることなので、より簡単にニューラルネットワークを訓練マルコフ仮説をしました。
4、および確率的ニューラルネットワークモデルはまたように、組み合わせることができるニューラルネットワークを推論する能力有し、ランダム因子の添加を、そのような推論ニューラルネットワークを向上させることができます。
要約すると、ニューラルネットワークは、同時に非常に強い特徴付ける能力が、強力なを持って、多くの問題があり、さらにニューラルネットワークを強化するための基準として、生物学的ニューラルネットワークに描画、この領域の研究者の共同の努力のすべての側面を科学者を必要としますパフォーマンス。
----------------
オリジナルリンクします。https：//blog.csdn.net/nicholas_liu2017/article/details/71250082