5.1
、ニューラルネットワークは、両方の中間層または出力層では、非線形活性化関数を持たなければならないことに注意してください、またはすべてです。$ fは（X）= \オメガ^ {T}は$をxは場合かかわらず、ニューラルネットワークの多くの層が線形回帰を縮退している方法で、活性化機能を行います。
5.2
両方の所望の値は、連続{0,1}にマッピングされるが、それはシグモイドマッピング関数として選択されるように、ステップ関数は、不連続な性質滑らかではありません。それ以外は活性化関数は、非線形関数を使用することができる案内することができる限り、シグモイドを使用する必要はありません。
5.3
5.4
学習率が低すぎる場合は、すべてのは、そのように反復回数が非常に多く、非常にゆっくりと落下します。 学習率が高すぎる場合は、最小値付近で前後に変動し、背中に衝撃今反復があるでしょう。
5.5
5.6
5.7
5.8
5.9
5.10