1.関連する概念
ニューラルネットワーク（ニューラルネットワーク）は、本質的に非線形分類子（2クラスまたはマルチクラスの場合があります）であり、サンプルの特徴量が多い場合や非線形タイムシェアリングに適しています。
[ニューラルネットワークの最終出力は、高次元空間の複雑な非線形境界として視覚化された複雑な非線形予測関数です]
[ニューラルネットワークのトレーニングプロセスは、入力サンプル（xi、yi）に従って重みパラメーターを近似することであり、モデルトレーニングの最終結果は、重みパラメーターの重みを取得することです]
非線形境界の模式図
単純な順方向伝搬ニューラルネットワークの概略図
ニューラルネットワークアーキテクチャ（アーキテクチャ）：入力層、非表示層（1つ以上の層）、出力層に関連するパラメーター
入力レイヤー：サンプルフィーチャ
非表示レイヤー：非線形関数によって構築された複雑な機能
出力層：分類結果[シグモイド関数の場合、特定のカテゴリに属する確率値を出力します。】
バイアス：出力層に加えて、入力層と非表示層の両方にバイアス項a0があります。
重み係数行列（重み/パラメータ行列）：次元は（S j + 1 x S j +1）であることに注意してください。
励起関数（活性化関数）：ニューラルネットワークに適用される非線形関数：relu（）、sigmoid（）... [シグモイドはロジスティック関数とも呼ばれます]
[ニューラルネットワークモデルとロジスティック回帰の関係：使用される関数がシグモイド関数の場合、j + 1層の単一ニューロンの計算はロジスティック回帰に相当します。ニューラルネットワークの進歩は、1つのレイヤーに複数の複雑な機能を構築することにあり、複数のレイヤーが存在する場合があります。ニューラルネットワークのコスト関数は、ロジスティック回帰のコスト関数を一般化したものです]
2.関連する式とベクトル表現
1）コスト関数：
ロジスティック回帰：
ニューラルネットワーク：
【
】
2）マルチクラス出力yi表現：ベクトル
3.簡単な例（python / matlab、オープンソースフレームワーク）
1）AND、（NOTx1）AND（NOTx2）、OR => XNOR [簡単な例は複雑な機能の構築を示しています]
2）番号認識を書く
3）道路上のさまざまなオブジェクト（歩行者、オートバイ、車、大型トラック）を識別するためのコンピュータビジョン[複数の分類問題]
参考資料：
1. Wu Enda機械学習関連のWebサイト、ビデオ、メモ
https://www.coursera.org/learn/machine-learning、スタンフォード機械学習資料
2.ステーションBでのフィードフォワードニューラルネットワークホワイトボードの導出