序文
子供の画像が鮮やかにニューラルネットワーク、オリジナルの映像コンテンツの次の基本的な翻訳が何であるかを説明し、例としてこのレッスンでは、コンテンツが非常に鮮やかかつ詳細で、よく理解。
ニューラルネットワークとは何ですか？（ニューラルネットワークはどのようなものです）
私たちはしばしば、ニューラルネットワークを訓練するために、深い学習プロセスを参照するために用語を使用しています。時にはそれは、特定の大規模ニューラルネットワークの訓練を指します。だから、ニューラルネットワークは何ですか？このビデオでは、私は視覚的な基礎のいくつかを説明します。
まず、住宅価格の見通しから、私たちの例を話し始めてみましょう。
あなたは6家についての情報を含むデータ・セットがあるとします。だから、あなたは家または正方形の何平方フィートの面積を知って、その住宅価格を知っています。この時点で、あなたは床面積に応じた予測価格の機能に合うようにしたいです。
あなたは、線形回帰に精通している場合、あなたは言うかもしれない：「まあ、のは、これらのデータは直線に合わせて使用してみましょう。」あなたは、直線を得る可能性がありますので。これは、基本的な回帰直線で、これはノートでなければなりません！
質問1：リターンは何ですか？
私の友人の多くはリターンが何であるかを知らない、より良い次のことを理解するために、私は、次の内容が復帰する前に何であるかについて話すだろう書きました。
線形回帰の仮説は、その後、限り、我々は入力として機能するように、いくつかのパラメータを渡すように、あなたが出力として結果を得ることができ、プログラマの考え方によると、これはブラックボックスの関数であることを、ブラックボックスです。そのリターンは、それはどういう意味ですか？実際に、分かりやすく、それがこのブラックボックスの出力が連続した値の結果です。出力値は、それが分類と呼ばれる連続したが、離散的な値ではない場合。連続値は、それは何と呼ばれますか？非常に単純な、栗を与える：例えば、私は家を持っているあなたを教え、家は40のレベルがあり、地下鉄で、その後、私はあなたが家に総価値が来ると思いますか？これは、家800,000 802000も可能値を大切かもしれないので、それは801110の価値があり、連続値です。別の例として、私は私が家を持っているあなたを教え、120フラットは、地下鉄では、180万の合計値のために、そして私はあなたが家に来ると思い、いくつかのベッドルームがありますか？まあ、これは離散的な値です。寝室の数はわずか1、2、3、4、最高の5キャップ、そして何であってもよいので、寝室の数1.1、2.9にすることはできません。あなたはちょうど私が達成したいことを知っていることは、タスクを返すことです、連続値を予測することです。その後、分類された離散的な値は、です。
まあ、我々は話をここで何アンドリュー・ウを見て
住宅価格の予測ライン
しかし、奇妙なはあなたにも見つけることが、私たちは価格がマイナスになることはありませんことを知っているということです。したがって、負の価格は直線を作ること置き換えるために、我々はそれが最終的にゼロで終わる、少し曲げ直線を置きます。太い青線の最後のピースは、価格の床面積を予測することはあなたの関数です。いくつかはゼロであり、そしていくつかの直線はうまくフィット。あなたは、この関数は唯一の住宅価格をフィッティングしていることを考えるかもしれません。
ほとんど、おそらく最も簡単なニューラルネットワークであるニューラルネットワーク、など。我々は（我々が表す）、ノード（小さな円）で、（我々はそれを呼び出す）ニューラルネットワークの入力として、最終的な出力の価格を住宅地を置きます。実際には、この小さな円は、単一ニューロンです。そして、あなたは、この関数の左側にネットワーク機能を実現します。
ニューラルネットワーク上の文献では、多くの場合、この関数を参照してください。その後、アプローチゼロに始まり、そしてより直線になります。この関数が呼び出されReLU活性化機能は、整流リニアユニットを意味します。RECTIFY（補正）として理解することができ、これはあなたがこの形の機能を得る理由です。
あなたはReLU機能を理解していないについては、後でこの過程で再びそれを見ることができます心配する必要はありません。
質問2：主要な質問：アクティベーション機能は何ですか、活性化関数の役割は何ですか？
コンセプトにアンドリュー・ウ教師のリードをここに：活性化機能
、ニューラルネットワークの活性化関数（活性化関数）は、スペースの魔術師のグループである線形境界を見つけるのフリップフロッ特徴空間をねじる：非常に比喩的に言って。
全てのアフィン変換（アフィン変換）線形重バイアスのニューラルネットワークの機能が活性化されていない場合、ウェイト：
このニューラルネットワーク、さらに次のような単純な分類問題は、この問題を解決することはできません。
この2次元の特徴空間において、青い線が示す負の場合（Y = 0）、緑線（Y = 1）のフロントケース
祝福のいかなる活性化機能は、ニューラルネットワークは、このレベルまで行うことができます。
リニア境界が - 非常に良い見ていない、それはないですか？
このとき、宇宙についてのフリップをねじる活性化関数のショット、：
リニア境界が登場しました！再び戻って復元し、我々は境界元特徴空間を得ることはありませんか？
もちろん、異なる活性化関数さまざまなジャンルが属しているため、鋳造魔法も異なります。
それぞれ3つの空間のMAGEの外観、シグモイド、TANH、上記の図、relu。
シグモイド
シグモイドは、活性化関数が最も優秀で、祖母です。
比較的古いが、昔ながら、当時ほど普及していないが、出力層の分類作業では、人々はまだ経験豊富なシグモイドを信頼しています。
私たちは、非常に人気の分類タスクのシグモイドで0-1の範囲（一貫性の確率である範囲）、に絞らシグモイド入力を見ることができます。
魚
TANHもベテランスペースの魔術師：
そしてその上で、そのS字状ではないでしょうか？私たちがまだ知らないことを逆方向になっていますか？
はい、TANHは変装シグモイドであります：
上記のように、シグモイドとTANH形状が、TANH「スクイーズ」と同様に間隔（-1、1）に入力されます。したがって、中心は、活性値は、正規分布層の下に入力されている（ある程度）はゼロです。
勾配に関しては、それは1.0のはるかに大きなピーク（Z = 0に同じ）を有しているが、ときに、より速く低下| Z |が既にゼロ3の値の近くに達しました。これは、いわゆる勾配の問題（消失グラデーション）の消失の背後にある理由である、それはネットワークが遅くなるダウンの訓練の進展につながるだろう。
履歴書
ReLUゲートキーパー、全てマグル（0）すべてシャット（閉ニューロン）です。また、アンドリュー・ウの先生が言及した活性化関数です。
今日は活性化機能を使用することは珍しいです。ReLUはそのシグモイドを扱う、双曲線正接勾配は共通の問題でなく、最速の勾配計算活性化関数を消えます。
上記のように、完全に異なるRELU獣である：それは範囲の値に「スクイーズ」をしない-それは、正、負を保持し、すべての変換をゼロのみれます。
使用ReLU肯定的な側面の勾配はどちらか1（正）または0（負）である - 何の勾配は消えません！このモードでは、より高速なネットワークコンバージェンスを可能にします。一方、現在進行中の負入力ニューロンの活性化値である、いわゆる「神経細胞死」の問題、のパフォーマンスへのこのリードは常にゼロです。
まあ、活性化関数の完全な理解は、我々はその後、言おうとしていたものアンドリュー・ウの先生を見てください。
これは、単一のニューロンネットワークである場合は、サイズに関係なく、それが形成するために一緒に積み重ね、これらの単一ニューロンを介するものです。あなたは、個々のレゴにこれらのニューロンを想像した場合は、大規模ニューラルネットワークのビルディングブロックによって行われます。
例で見てみましょう：
私たちはただ、家族の数も住宅価格に影響を与えることができ、今あなたがそのようなベッドルームの数など、他の住宅関連の機能の数を持っている、そしておそらく非常に重要な要素があり、住宅価格の面積を予測するためにそれを使用していない、住宅缶滞在家族や家族の中で四、五人？これは確かに家のサイズに基づいており、寝室の数と家は本当にあなたが世帯数を収めることができるかどうかを決定します。
件名を変更して、あなたはおそらく機能として郵便番号はあなたの歩行の度合いを伝えることができるかもしれません知っています。あなたは食料品店や学校に歩いて、そしてあなたが車を運転する必要があるかどうかをすることができますたとえば、この辺りは、歩くの高さではありません。また、郵便番号に基づいており、豊かに関連した（米国ではそうである）ながらのような一部の人々は、主要な歩行者エリアに住んでいます。しかし、他の国でも、どのように良い学校付近を反映することができます。
図ReLU描か各小円は、の一部であってもよいが、わずかに線形補正部、非線形関数、または他のことをいいます。床面積や寝室の数に基づいて、家族のサイズは郵便番号に基づいて推定することができる、あなたは学校の程度や品質を推定歩くことができます。最後に、あなたはこれらの人々が過ごすためにどのくらいのお金を決めるために喜んでいると思うかもしれません。
家のために、これらのものは密接にそれと関連しています。このシナリオでは、学校の散歩の家族の大きさ、度と品質は、あなたが家の価格を予測することができます。一例として、xがyは、あなたが一緒に加え、これらの単一ニューロンの価格を予測しようとすることを、我々は少し大きめのニューラルネットワークを持っている、4つの入力のいずれかです。私は、ニューラルネットワークを説明したが、これはショーニューラルネットワークの魔法、それはホームエリア、度と品質要因の歩行学校、または他の影響の価格を取得するためにあなたを取ることができます。
ニューラルネットワークの魔法の一部は、あなたがそれを達成するとき、あなたは、Xを入力するだけです出力yを得ることができるということです。それは、サンプルの独自のトレーニングセットの数と、すべての中間過程を計算することができますので。だから、あなたが実際に行う必要がある。ニューラルネットワークの4つの入力がありますが、この機能は家に入るかもしれないサイズ、寝室の数、郵便番号や地域の財産です。機能は、入力が与えられた後、ニューラルネットワークは、価格に対応する作業を予測しています。また、彼らはそれぞれ、例えば、4つの入力機能から自分の入力を取得、これらは、ニューラルネットワークでは、隠された単位円と呼ばれていることに注意して、家族の大きさ、家族サイズの代わりに、最初のノードとは、X1に依存します前記とx2は、他の言葉では、ニューラルネットワークでは、あなたがすべて計算され、得られる4つの入力の、このノードで取得したいかを決めます。したがって、我々は、入力層と中間層がしっかりアップ接続されていると言います。
ニューラルネットワークが十分なトレーニングサンプルを与え、xとyに十分なデータを与えているし、関連するxのことは注目に値します。ニューラルネットワークは、xからyに計算正確なマッピング関数に非常に優れています。
これは、ニューラルネットワークの基礎となっています。あなたは、ニューラルネットワークの環境の中で自分自身を見つけることが監修学習が非常に効果的で強力です、それはあなたが我々だけで物価予測の例で見たのと同様に、Yにマッピングすることができ、限り、あなたはXを入力しようと言うことです効果に。
次のレッスンでは、我々は例のためのより多くの監督を学びます、いくつかの例では、あなたのネットワークは非常に有用であろうことを感じるようになります、そしてあなたにもそれを実践しています。
クラス！
