Q1コスト関数
(1)が存在すると仮定トレーニングサンプルは、それぞれ、一組の入力と出力信号のセットを含むm個のニューラルネットワークは、YをX、Lは、ニューラルネットワークの層の数を表し、S Lは、各層のニューロンの数であり、S Lの代表単位プロセスの最後の層数。
コスト関数(ない同じθが0正則化):
Q2逆伝搬アルゴリズム
誤差式は、入力として第1列はエラーではないことに注意しました。
順方向伝搬アルゴリズム:
δによる誤差を表し、その後δ(4)= (4) -Y
前の層のエラーは、次のとおりです。
その後、前の層のエラー:
。
入力層のエラーはありません。
各層がエラーをした後、それぞれ、偏導関数は、次にθを更新することができます。
Q3直感的な理解のバックプロパゲーションアルゴリズム
わずかに
Q4実装注:展開パラメータ
わずかに
Q5勾配テスト
点の推定値としてフィールド点の傾きの2つの接続点と、その後ニューラルネットワークの計算値の値が比較されます。
Q6ランダム初期化
初期化パラメータは、ランダムであるべきで、同じ値ならば、ユニットは、第2の層の全てがアクティブになり、同様に、以下、同じ値を有します。
Q7一緒に
ステップニューラルネットワークを用いました:
(1)ネットワークアーキテクチャは:まず最初は、層のネットワーク構造、即ち、番号を選択することであり、決定はどのくらいの各ユニットを決定しました。
ユニットの数は、当社のトレーニングセットに特徴付け第一層の数です。
最後に、ユニットの数は、我々はセットを訓練結果の数一種です。
(2)ニューラルネットワークを訓練します:
1.ランダム初期化パラメータ。
2時間使用して、すべてのフォワード伝搬法を計算θを(X)を、
3.書き込みコードは、コスト関数Jを算出します。
バックプロパゲーション法を用いて計算4.全ての部分誘導体;
これらの数値偏導関数をテストするためのテスト方法。
6.最適化アルゴリズムを使用することは、コスト関数を最小化します。
Q8オートパイロット
わずか。