まず、仮定リニア（ニューラルネットワーク）
次の例では、これらの問題は、複雑な非線形分類器の研究に依存している解決するために、ニューラルネットワークアルゴリズムを説明することを目指しています。
ロジスティック回帰アルゴリズムの使用は、この問題を解決するならば、我々は、対応するトレーニングセットを持って、教師付き学習の分類の問題を考えてみましょう。ロジスティック回帰関数を構築するための最初の必要性は、多くの非線形項が含まれています。
あなたができるので、2つだけなX1、X2、この方法は本当に、良い結果を得ることができたときに実際には、ときに十分な多項式の項の数は、その後、あなたは、正と負のサンプル間の個別の分割ラインを取得することができるかもしれませんX1とX2の組み合わせは、すべての多項式に含まれますが、多くの洗練された機械学習の問題のために、多くの場合、二つ以上の用語を含むされています。
住宅価格は、問題を予測：今すぐ次の6ヶ月で家は、分類問題である、販売することができる確率で処理されることとします。次の用語は、すべてを包含する場合、別の住宅のような問題のための可能な機能の数百は、nは特徴の数と、N = 100の場合、最終的にも二次5000において、あります増加。二項目の数は、すべての二次項を含めたいので、次数n ^ 2を高めるために約することは非常に困難であるので、これは良いアイデアではないかもしれません。
そして、あまりにも多くのエントリがあるため、最終的な結果は、おそらくあまりにもフィットすることです。非常に多くを扱うときさらに、過度の操作の問題もあります。もちろん、あなたはまた、これらの上位二次項のサブセットのみを含めるように試みることができますが、多くの関連項目を無視してのために、データの類似の左上隅に対処する上で、望ましい結果を得ることは不可能です。5000は、次項では多くを持っているようだが、今は17000立方用語約3つの項目または3次項を、含まれ、これは良い習慣ではないと仮定します。
例：コンピュータビジョンにおける問題について。あなたが分類器を訓練するために機械学習アルゴリズムを使用すると仮定し、それは画像が車であるかどうかを判断するために画像を検出し、我々はそれが増幅され、この絵の小さな部分を削除しました。人間の目は車を表示することとき、例えば、赤いボックスの図の一部は、コンピュータが実際に参照画素強度値を表すデータ行列は、私たちは、画像の各画素の輝度値を知っていることです。そのため、コンピュータビジョンのための質問はなっている：これらの値は画素マトリクスの明るさに応じて車のドアハンドルを表し、私たちに伝えるために。
学習アルゴリズムは、車両識別子のマシンを構築する際に具体的に、我々は、ラベルのサンプルセットをしたいです。これらのサンプルのいくつかは、車のすべての種類があり、サンプルの他の部分は何かである、このサンプルでは、分類器を訓練するために学習アルゴリズムへの入力を設定します。「？何がこの事である」トレーニングはクラシファイアがいると判断だから、私たちは、新しい画像を入力し、完了すると理想的には、分類器は、これは自動車であることを認識することができます：
非線形分類器を導入する必要性を理解するために、我々は学習アルゴリズム学習サンプルからの写真や、いくつかの非自動車の車の写真のいくつかを選んで、我々は、画像の各部分、そこからピクセルpixel1のセットとpixel2を選び出します。
「」+「によって、車の画像を示す」使用して、座標系でより多くの新しいサンプルを描く - 「非車の画像を示し、我々は今、サンプルのこれらの2つのタイプを分離しようとする非線形分類器を必要としています。
特徴空間におけるこの分類の大きさはどのくらいですか？我々は、50前提と50ピクセル、2500個のピクセルの合計を。したがって、我々は、特徴ベクトルの要素数を有するN = 2500、特徴ベクトルXを含む全ての画素の値を輝度。我々はRGBカラー画像を使用する場合、各画素含むが、赤、緑、青のサブピクセルは、次に私達の特徴ベクトルの要素数は、n = 7500となります。我々はこの問題を解決するために、二次非線形を介してすべてを含む必要があれば、これはすべての条件での式です。XI XJは300万人程度の合計と一緒に2500個のピクセルの始まり。この計算コストが高すぎる複雑な非線形問題を解決するための良い方法ではありません。
第二に、神経細胞と脳
ニューラルネットワーク理由は、人々が模倣脳に設計されたアルゴリズムを生成するために試してみたいということです。やる人間の脳 - 私たちは学習システムを構築したい場合はある意味では、なぜ私たちが知っている最も素晴らしいマシンを模倣することを学びますか？
1980年代と1990年代にニューラルネットワーク緩やかな上昇は、広く使用されています。しかし、様々な理由により、1990年代後半のアプリケーションが減少しました。しかし、最近では、ニューラルネットワークは、カムバックを持っています。一つの理由：ニューラルネットワークは、計算アルゴリズムでは、やや大きすぎます。しかし、近年では、おそらくだけで十分なコンピュータ速いの走行速度に実際に大規模ニューラルネットワークから実行します。これは、このような理由のためであり、それ以外は、私たちは技術的な要因に後で説明します。多くのアプリケーションのための今日のニューラルネットワークは、最先端の技術です。
あなたは脳をシミュレートしたい場合は、それは人間の脳のマシンの役割、右と同じ効果を作成するために参照しますか？
脳は、画像のどのようにして、タッチの我々の感覚に対処することを学ぶ見ていないに行くことを学ぶことができます。
私たちは、計算を行うことを学ぶ、数学を学ぶことができます。
脳は驚くべきものの様々なを処理することができます。
あなたはそれはそう真似したい場合は、すべてをシミュレートするために、異なるソフトウェアの多くは、脳は私たちに素晴らしいもののこれらの種類を指示する記述する必要があります。しかし、脳はすべてのこれらのメソッドは異なることを行うことを想定することはできません。異なるプログラムの何千ものを使用する必要性を実現するために。代わりに、脳はこの方法は、それにのみ、単一の学習アルゴリズムが必要となる処理しますか？これが唯一の仮説ですが。
しかし、私はあなたと、この証拠の一部を共有しましょう：脳のこの部分を、このエリアは赤、あなたの聴覚皮質の小片です。あなたは今、私の言葉を理解し、これは耳です。耳はあなたの聴覚皮質に音信号と送信音声信号を受け取り、あなたは私の言葉を理解することができる理由です。
神経科学者は、次の興味深い実験を行います。
①聴覚皮質神経の耳は、視神経への眼からの信号は、最終的に聴覚皮質に広がっていくように、再動物の脳に、この場合には、切断されます。これが行われた場合、結果は聴覚皮質のことを学ぶだろうことを示した「を参照してください。」ここでは、それぞれあなたが動物にこれを行う場合は、動物は、視覚弁別課題を完了することができますので、私たちが知っていることの意味を表す「見る」に、彼らは画像を見て、画像に基づいて適切な判断を下すことができ、それはそれらを介してです部分的に完了の脳組織。
②右の別の例：脳組織の赤い部分は、タッチの感覚を処理するために使用されているあなたの体性感覚皮質、で、あなただけの同様の実験の再接続を行う場合。その後、体性感覚皮質神経再接続実験として知られているこの実験および他の同様の実験を、「見る」ことを学ぶことができます。
人間の体は、光、音、触覚信号を処理することができ、脳組織の同じ部分を持っている場合は、この意味では、おそらく学習アルゴリズムは、視覚、聴覚や触覚ではなく、異なるプログラムの数千を実行する必要性、またはを扱うことができるがありますこれらの脳は美しいものの数千人によって行われないために異なるアルゴリズムの何千人も、多分私たちが行う必要があるが、いくつかのおおよそのか、実際の脳の学習アルゴリズムを見つけ、それを実装することです。
我々は脳のほぼすべての部分にセンサーのアクセスのほとんどすべての種類を推測することができれば自己学習を通して脳は、かなりの程度まで、データのこれらの異なるタイプを処理する方法を学ぶために、その後、脳はそれに対処する方法を学習します。
最初の例：この絵の左上隅には、彼の舌で「見る」ことを学ぶための一例です。その原理は：これは、実際に臨床試験で今FDA（米国食品医薬品局）であるBrainPortと呼ばれるシステムであり、それは盲目の人々が物事を見ることができます。その原理は次のとおりです。あなたは前向き、額に灰色のカメラを取る、あなたの目の前で何かの低解像度グレースケール画像を取得することができます。あなたは、電極アレイのワイヤが舌の上に搭載されて接続します。各画素は、あなたの舌の上の位置にマッピングされ、明画素点に、低い電圧値の対応する暗画素点に対応する高い電圧値であってもよいです。それが今の機能に依存しているにもかかわらず、あなたは私が数十分で何かを「見る」ために私たちの舌を使用することを学んだ。このシステムを利用することができます。
第二の例：人間のエコーロケーションやソナー、人間の体の上に、あなたが達成できる2つの方法があります。あなたは、スナップやラズベリーヘッドを参照することができますが、盲目の人、学校でこのような研修を受け入れてやるが存在し、かつ音波は、環境モデルから立ち直るに解釈することを学ぶ - のソナーいます。場合は、あなたがYouTubeで検索した後、あなたが見つける：いくつかの素晴らしいビデオは子供の物語、彼は残酷目の損失、しかしでは、あなたの指をスナップが、彼は何かを押すことなく動き回ることができ、なぜなら、目のがんを除去しました。彼は、これは子供の目ではないことを、バスケットにメモしてバスケットボールを置くことができ、スケートボードすることができます。
第三の例：タッチベルト。あなたは腰の周りにそれを着用した場合、ブザーが鳴り、そして北向きときは常に音をブンブン。それは、人々が方向感覚を持たせることができ、鳥と同様の方法は、方向を感知します。
奇妙なのいくつかの例があります：あなたはカエルに第三の目を挿入すると、カエルはその目を使用することを学ぶことができます。
これらの例は非常にあなたが脳にほぼすべてのセンサーにアクセスすることができれば、脳の学習アルゴリズムは、データを学習し、データを処理する方法を見つけることができるようになります驚くべきことです。ある意味では、我々は、脳の学習アルゴリズムを見つけ、その後、脳の学習アルゴリズムを実行したり、コンピュータ上で同様のアルゴリズムを持つことができるかどうか。おそらくそれは、人工知能に私たちの動きをしようとするのがベストでしょう。人工知能の夢は1日に真にインテリジェントマシンを作成することができるようです。
第三に、ニューラルネットワークモデル
ニューラルネットワークを使用する場合、どのように我々は我々の仮定やモデルを表現します。
ニューラルネットワークは、モデルの仮定を表し、脳内のどのような個々のニューロンでの外観を聞かせする方法を説明するために、そのため、脳の神経細胞や神経回路網を模倣によって発明されました。
まず、そこにこのような神経細胞体であり、第二のニューロンは入力ニューロンの数を持っている：私たちの脳は、このようなニューロンに満ちている、ニューロンは注目すべき2つの点が存在する脳細胞は、あります。
これらの入力ニューロンは、樹状突起と呼ばれるが、我々は、入力線と考えることができます。彼らは、他のニューロンからの情報を受け取ります。軸索と呼ばれる出力ニューロンは、ニューラルこれらの出力は、他のニューロンまたは送信情報の送信信号に使用されます。
手短に言えば、ニューロンは、コンピューティングユニットです。これは、入力ニューロンからの情報の一定数を受け入れ、いくつかの計算を行います。結果は、他のノード、又は脳内の他のニューロンへの軸索を介して送信されます。
これは、すべての人間の思考のモデルです：私たちのニューロンは、彼らのメッセージが計算の対象となり、および他の神経元のメッセージを配信置きます。
ニューロンの活動をシミュレートするための非常に単純なモデルである入力X1、X2、X3、出力Hθ（X）= 1 /（1つの+ E（-θTX））。我々は、論理ユニット、ニューロンに類似する黄色の円、人工ニューロンの活性化関数としてS字関数又は論理関数、ニューラルネットワークの用語、励起関数だけで同様の非線形関数g（Zとしてモデル化神経）別の用語コール。θはx0が有益かどうかに応じて、例えば、時には描かれておらず、塗装、1に等しい常にあるため、X0は、神経細胞を付勢され、時には「重み」と呼ばれる、モデルのパラメータです。、入力と同様のX1 X2 X3の神経は、H（x）は出力ニューロンです。
これは、実際にこれらの異なる神経複合ニューラルネットワークの集まりです。具体的には、ここでX0 X1をX2とX3、ニューロン（2）1（2）2と（2）3（（2）0は、追加のバイアス部、値入力部であり、米国1である）、最後の層の出力関数hは、結果（x）を計算するものとします。
第一の層、中間層 - - 第二層、出力層 - 層3この例では、入力された層を有します。しかし、実際には、入力層や非出力層の任意の層は、中間層と呼ばれています。
上付き文字（j）は下添字I表す：j番目の層またはi番目のニューロン励起を、いわゆる励起（活性化）を算出して出力する、特定のニューロンの値を読み出します。
ここでは、我々は3つの入力ユニットと3つの隠された単位を有します。コントロールとして、我々は、三隠れユニットをマッピングし、3つの入力ユニットからパラメータを行列です。従ってθ（1）4によって3次元マトリックスとなります。
より一般的には、j番目の層Sjの単位でネットワーク、J + 1層Sjに+ 1個の細胞、行列θ（J）即ち、jへの制御マトリクス層J + 1レイヤマッピング寸法場合Sjに+ 1 *（Sjに+ 1）へ
最後に、出力層では、我々は、h（X）を算出する手段を有していてこれはまた、（3）1（第3層、第1の要素）を書き込むことができます
第四に、モデルが表します
の普及前に定量化を達成するために
これらの値は、Zの線形結合であるX0×1×2×3とθ0θ1θ2θ3重み付け線形組合せ入力値であり、Iは、（1）ベクトルxに等しい定義することができます。プロセスの計算時間（X）も前方に伝搬（順方向伝搬）と呼ばれます。私たちは隠された層への励起入力層から開始し、その後、フロントに広がると励起隠された層を算出したので、そのように命名。その後、我々は続ける前に広がり、励起出力層を計算します。隠された層への入力層と、出力層に、順次算出される励起過程から前者を伝播と呼ばれます。
彼らは学ぶために入力されたとして我々は、入力層、目に見える機能項目A1、A2、A3を非表示にします。具体的には、第1層から第2層へのマッピング関数であり、関数は、パラメータθ（1）の別の組によって決定されます。
だから、ニューラルネットワークでは、ロジスティック回帰、ロジスティック回帰が、入力として彼の訓練を訓練された入力機能×1×2×3を使用していません。A1、A2、A3考えられるが、異なるパラメータθ（1）を選択した場合は、時にはいくつかの興味深いと複雑な機能を学ぶことができます。あなたはX1×2またはX3は、元の入力よりも良い、次のセクションでは、理由についてお話しますと仮定した場合に得られる、より良い仮説を得ることができます。
そのアーキテクチャは、相互に接続されている方法の異なるニューロンを意味するように、あなたはまた、ニューラルネットワーク、ニューラルネットワークのニューロンは、ニューラルネットワークアーキテクチャと呼ばれる接続されている方法を表すために図の他のタイプを使用することができます。
V.アプリケーション
例としては、ニューラルネットワークは、計算入力の複雑な非線形関数である方法について説明します
2つの簡単な質問で見てみましょう：
そして、最初の操作または第2の動作
PS：例えば-30ための直線の数字、+ 30、重量θです。関数g（x）は、S字関数のパターンです。
以下の非実装と運用し、最初
上記結合操作、または同じ動作を実現します
アイデア、または同じバイナリの結果では、一から二です。これは後にOR演算（第3層ニューロン）を介して、次いで、X1、X2（第1層）及び操作後（第2層ニューロン）、X動作（第2のニューロンの第二層）、と同じです又は同様の動作（出力）を得ました。
元の入力値を有する入力層において、我々は、我々はされており、入力量の数を計算するためにもう少し複雑な関数を使用し、別の隠れ層を追加することによって、我々はもう少し複雑な関数を得る隠された層を確立していますニューラルネットワークは、視覚的な解釈のいくつかのより複雑な関数で計算することができます。
シックス・マルチクラス分類
それはどのようにバイナリ分類に来る前に、我々は出力、0または1で表すことができ、ニューラルネットワーク、マルチクラス分類を行います。
多変量分類問題については、我々は1,2のように表現出力、... 10を使用しないでください。次のように、それは、ベクターを用いて表現されます。
最後の例では、出力層の最初のニューロンは、それが0ヒト以外を示し、それが人であることを示しています。第二の出力層ニューロン、それは多クラス分類のために、すなわち、それは、最終出力ベクトルを介するものであるかを判断することができることを示し、自動車非自動車... 0であることを示しています。
リファレンス07機械学習（アンドリュー・ウ）：非線形仮説（ニューラルネットワークモデル）
アンドリュー・ウ機械学習-学習ニューラルネットワーク
