機械学習を得るために100日|ニューラルネットワーク構造を学習Day35深さ

この記事「何がニューラルネットワークのですか？」の研究ノート3Blue1Brown

bilibili.com/video/av15532370：住所を見ます

初心者は、ニューラルネットワークの基本的な概念を説明するために、我々は再びニューラルネットワーク学習は、それが本当に何を意味するのか理解することができたときに聞こえるように、このエピソード・グラント首長の仮定は、我々は、ニューラルネットワークを持っていません。ギャングスターは、より良い、そのようなCNNやLSTMなどの強力な変種を、理解するために、古典の元の理解という理由で、手書き数字認識の問題を解決するために、古典的な多層パーセプトロン（MLP）構造を選択してください。

まずニューロンを見て、彼らがどのように接続されています

ニューロンは、0と1の充填された容器の間の数として理解することができます。*一例として、入力画像28の各画素28、各ニューロンは、数字は、画素の階調値を表し、原点0は白、黒表すニューラルネットワークにいう図形、1を表します。 "活性値。 "

このニューロン784は、それらの活性化値は、入力画像を表す0と1の間である、0-9 10個の数字、同じ最後の10個のニューロン層の代わりに、ネットワークの第1の層上にあります番号が対応する可能性。中間層は、ネットワークの隠れ層と呼ばれるブラックボックスとして見ることができる、デジタル識別の具体的な操作は、ここで終了する2つの隠し層、16個のニューロンとそれぞれが付加される - 表示させるために容易に設定するが、格好良い、あなたはその後、後者を調整することができます。

ニューラル情報処理ネットワークのコア機構はケース、特定の操作を介して、活性層の値は、次の層の活性値を取得します。上記784はまた、ニューロンのパターンの数を表し、その後、次の活性化の値はまた、特別なパターンを生成する、最終的な出力層ニューロンは、最も明るい選択ニューラルネットワークを表します。

我々は、この層状構造は、番号を識別することができるようになりますなぜ、訓練する方法を見て？

我々は、脳卒中に理想的に対応することができる第2の層の望ましい相互各ニューロンをデジタル解体することができます。

第一の層の中間層、入力は丸数字8または9以上である場合、ニューロンの活性値が1に近いであろう見て、円形パターンの上部にあるすべての画像が点灯することができることが望ましいです。ニューロンは、第三の出力層に、なるように、私たちはただの数字の組み合わせとすることができる部分があることができるか学ぶ必要があります。

しかし、どのサークルにそれを識別するために？同様に、あなたは、より微妙な問題に分割することができます。

だから我々は、短辺に対応する第2層のそれぞれのニューラルネットワーク要素を願って、第二の層が8〜10のニューロンのすべての短辺が点灯していると関連付けることができ、照明は、円の上部と長い棒に続くことができますニューロン。

その後、我々は、接続の役割を見て

エッジが存在する場合、画像の、この一つの領域を識別することがどのように第二層（隠れ層の第1層）、このニューロン行うとすることができますか？

我々はデザイン第二層における特定のニューロンが正しくエッジの存在画像のこの領域を識別することができる可能にします。

私たちは、活性値の第一層（入力層/ 0）を思い付くし、（それ以外の場合は0、正のヘビーウエイトのエリアに注意を払う）の重みを与えるために、その加重追求し、それだけで全ての画素値の累積となります懸念の画素領域の値。

緑色は正であり、赤が負である、暗い色が近い0重量を表します。

あなたは、エッジがあるかどうかを確認したい場合は、単に画素の周囲のラップを与えるように、負の重みを与えています

重量値は、任意のサイズで作ることができます

しかし、私たちに必要なのは0-1の間に圧縮されます

ここでは、必要なシグモイド関数であり、この機能が有効になります。

アクティベーション値は、どのくらいの最後に、実際に正の得点の加重和であるが、時には加重和が0よりも大きい場合、例えば体重などのニューロンを、点灯したくない、あなたは彼が10より大きいを鼓舞させたい場合は、ともそこに必要になりますプラスだけで興奮していないことを確認するために、オフセット値。

私たちの画素パターンの種類を懸念秒ニューロンの重みを伝えます

バイアスは、加重、あなたが有意義にするために、ニューロンを刺激したいどのくらいのを教えて

13,000以上のパラメータは、ここで学んいわゆる右重みとバイアスを見つけることです、調整する必要があります。その、それはすべての出力の入力ニューロンの層であり、我々はデジタルコンテナとして見ニューロンの始まりについて話しましたが、これらの数字は、入力画像に依存し、その機能を見ニューロンは、より正確です出力は0〜1の間の値です。実際には、全体のニューラルネットワークは、入力784、出力値10の関数です。しかし、それは重量が、13000が含まれている機能の非常に複雑なオフセットパラメータです。

以前に導入されている、特に、機械学習とニューラルネットワークコンピューティング線形代数が密接にリンクされ、会場を注意する必要があります。

機械学習を得るために100日|線形代数Day26-29自然

ニューラルネットワークは、行列乗算とマッピング操作シグモイドの大規模な量を必要と

この計算方法は、プログラミングは、Pythonのnumpyの非常に単純な実装を使用するなど、非常に適しています。

最後に、言及されるべきで、それはもはやシグモイド基本的なニューラルネットワークを使用したことではない、より多くの人気ReLU（整流線形関数）です。

機械学習を得るために100日|ニューラルネットワーク構造を学習Day35深さ

おすすめ