【講義4】ニューラルネットワーク（ニューラルネットワーク）

教室の質問

• 2層の単純なニューラルネットワークでW1とW2はどういう意味ですか？
  
  回答：W1は、学習した線形分類器のさまざまなテンプレートと見なすことができます。 $h$はこれらのテンプレートのスコアを表し、W2はこれらのテンプレートスコアを組み合わせて新しい複雑なテンプレートを形成します。
  たとえば、上記の例で、左向きの馬と右向きの馬の両方があるとします。左向きの馬の場合、一方のテンプレートが他方よりも高く、次に $最高$後に、その左側が馬の割合で保持します。
  注意：ここに $max（0、W_1X）$図に示すように、低い値のテンプレートスコアは省略でき、非線形性も導入されます。 $h$。

1.ニューラルネットワークの概要

線形関数 $f（W; X）= WX$同じではない、ニューラルネットワークは、複雑な機能の単純なセットからなる（階層スタック）として見ることができ、非線形マッピング関数。たとえば、下の図の単純な線形関数と、2層および3層の単純なニューラルネットワークです。

単一ニューロンのアナロジー

ニューロンの樹状突起はパルス信号を受け取り、細胞体がそれを処理して、軸索を介して次のニューロンに伝達します。これは、アクティブ化関数で入力、計算、アクティブ化を受け取るための計算図の単一関数ゲートの計算と似ていますが、はるかに複雑です。

たとえば、一般的な活性化関数は次のとおりです。

ニューロンのベクトル化計算

前述のように、「ニューラルユニット」は多くの入力を受け取り、それを計算して出力するため、一般的にニューロンの入力を計算用のベクトルとして扱います。たとえば、単純な二重隠れ層ニューラルネットワークの例とその順方向伝播プロセスを以下に示します。

2.公式メモ

• 05ニューラルネットワークI：アーキテクチャ
• 06ニューラルネットワークII：データと損失
• 07ニューラルネットワークIII：学習と評価
• 08最小ニューラルネットワークのケーススタディ