コースの概要(8)_ニューラルネットワークパラメータをバックプロパゲーションアルゴリズムアンドリュー・ウ「機械学習」

Q1コスト関数

(1)が存在すると仮定トレーニングサンプルは、それぞれ、一組の入力と出力信号のセットを含むm個のニューラルネットワークは、YをX、Lは、ニューラルネットワークの層の数を表し、S Lは、各層のニューロンの数であり、S Lの代表単位プロセスの最後の層数。

コスト関数(ない同じθが0正則化):

Q2逆伝搬アルゴリズム

誤差式は、入力として第1列はエラーではないことに注意しました。

 

順方向伝搬アルゴリズム:

δによる誤差を表し、その後δ(4)= (4) -Y

前の層のエラーは、次のとおりです。

その後、前の層のエラー:

入力層のエラーはありません。

各層がエラーをした後、それぞれ、偏導関数は、次にθを更新することができます。

Q3直感的な理解のバックプロパゲーションアルゴリズム

わずかに

Q4実装注:展開パラメータ

わずかに

Q5勾配テスト

点の推定値としてフィールド点の傾きの2つの接続点と、その後ニューラルネットワークの計算値の値が比較されます。

Q6ランダム初期化

初期化パラメータは、ランダムであるべきで、同じ値ならば、ユニットは、第2の層の全てがアクティブになり、同様に、以下、同じ値を有します。

Q7一緒に

ステップニューラルネットワークを用いました:

(1)ネットワークアーキテクチャは:まず最初は、層のネットワーク構造、即ち、番号を選択することであり、決定はどのくらいの各ユニットを決定しました。

ユニットの数は、当社のトレーニングセットに特徴付け第一層の数です。

最後に、ユニットの数は、我々はセットを訓練結果の数一種です。

(2)ニューラルネットワークを訓練します:

1.ランダム初期化パラメータ。

2時間使用して、すべてのフォワード伝搬法を計算θを(X)を、

3.書き込みコードは、コスト関数Jを算出します。

バックプロパゲーション法を用いて計算4.全ての部分誘導体;

これらの数値偏導関数をテストするためのテスト方法。

6.最適化アルゴリズムを使用することは、コスト関数を最小化します。

Q8オートパイロット

わずか。

おすすめ

転載: www.cnblogs.com/henuliulei/p/11273227.html
おすすめ