1、中間層
MLPは、単一層ニューラルネットワークにおける隠れた複数の層に導入され、中間層は、入力層と出力層との間に配置されます
前記入力層4、カテゴリラベルの出力層3、5つの隠れユニット、計算を必要としない入力層、多層パーセプトロン2の層数の数
隠れ層のニューロンと入力層は、完全にそれぞれの入力に接続し、出力層のニューロンの隠れ層のニューロンは、完全に接続されたので、全体の接続層2：中間層と出力層
隠れ層の重みとバイアスを想定しているW H、B H、出力層の重みおよびバイアスはWであるoを、BはO、出力Oは次のように計算され
H = XWのH + bはH、
= HWのO O + BのO
JI、O =（XW + B H H）W O + B O = XW W H O bはH W O + BのO
この場合には、ニューラルネットワークは依然として単層に相当し、出力層の重みは、Wがであり、H WはO、偏差B H WはO + B O
質問：モデルはまだ線形モデルは、どのように非線形問題を解決するのですか？
溶液：非線形変換---活性化機能を導入し、非線形問題を解決します
図2に示すように、活性化関数
（1）ReLU機能
与えられた要素x、ReLU（X）= MAX（X、0）
（2）SIGMOD関数
要素の値を変換すると、0と1の間で、より一般的に早期に使用されるニューラルネットワークは、今より一般的にReLUです
（3）TANH関数
双曲線正接関数TANH要素の値は1と1との間で変換することができます。
3、多層パーセプトロン
多層パーセプトロンニューラルネットワークは、各隠れ層の出力は、活性化関数によって変換される少なくとも1つの隠れ層からなるフル含む接続層（中間層）、です
隠れ層MLPのレイヤーとレイヤーがスーパーパラメータである、あなたは自分自身を設定することができます
これは、活性化関数を表し、