伝播ニューラルネットワークアルゴリズムと赤字

1つの人工ニューラルネットワーク

1.1ニューロン

    ニューラルネットワークは、互いに一緒に接続されたニューロンの多数から成ります。各線形結合のための入力ニューロンを受信した後、単純な線形重み付けを始め、その後、それによって非線形変換出力を行う、ニューロンの活性化関数の非線形性の各々に添加しました。重み付けされた値を表すが、それぞれ2個のニューロンと呼ばれる量（重量）の間に接続されています。異なる重みと活性化関数は、異なる神経回路網の出力につながります。

    ニューラルネットワークは数が何であるかを識別するように、例えば、未知の数を考えると、手書き認識。このとき、ニューラルネットワークの入力は、定義された活性化された入力画像の入力ニューロンの画素の集合で構成されています。非線形活性化関数で変換された非線形後、ニューロンを活性化し、その後、他のニューロンに伝達されます。最後の出力ニューロンがアクティブになるまで、このプロセスが繰り返されます。何を、現在のデジタルワードを識別するために。

    各ニューロンニューラルネットワーク、次のように

    基本的なフォームWX + B、前記

• 、入力ベクトルを表し

• 、重量のために、各入力が重みを割り当てられる複数の入力いくつかの重みがあることを意味します

• Bバイアスバイアス

• G（z）は、活性化関数です。

• 出力

    直前に推定可能性と接触していなかったと混同されなければならない。この1以上の場合 実際には、上記の単純なモデルはパーセプトロン1950/60年代にさかのぼることができ、パーセプトロンモデルとして理解と異なる要因、各要因の重要度に基づいて決定を下すことができます。

    たとえば、この週末は、北京はイチゴ祭りがあり、それに行きますか？あなたは二つの要因に行くために、この2つの要因は、それぞれ2つの入力、X1に対応させることができるかどうかを決定する必要があり、x2は表しています。また、意思決定を行うためにこの2つの要因の影響度は表しW2、重みW1による影響のと同じ、その程度ではありません。一般的には、音楽祭のコンサートのゲストは、あなたが行くのに非常に多くの影響を与えます、良い前提を歌う伴わない場合でも、それを容認することができますが、うまく歌えていない場合は、同様に、ステージ上でそれを歌うかもしれません。以下のように、我々は表現することができます。

• ：好きなゲストの歌があります。 = 1あなたはこれらの紳士が好きで、 = 0あなたはゲストを好きではありません。ゲスト重い重み係数 = 7

• ：誰もが一緒に行くためにあなたに同行ありません。 = 1あなたに同行するために誰かと行く、 = 0は、あなたと一緒に滞在しませんでした。誰場合は、重量を伴っ = 3。

    このように、私たちの意思決定モデルが構築されます。G（Z）= G（  *  + *  + B）、Gは、ここでbは、活性化関数を表し、よりよく理解することとバイアス項の目標を達成するための調整を行うことができます。 

    簡単にするために開始、人の活性化関数は、単純な線形変換として、結果の線形変化を作製するために、すなわち、線形関数として定義される線形活性化関数g（Z）= Zであり、出力が入力されます。その後、我々はあまりにも制限実用的なアプリケーション、線形活性化関数を見つけたので、非線形活性化関数を紹介します。

1.2活性化関数

    これはRELU畳み込み層に共通している層全体でより一般的な接続前の二つシグモイド/ TANH、等をrelu、非線形活性化関数シグモイド、TANHを使用していました。このセクションでは、最も基本的なシグモイド関数を紹介下で（ところで、SVMは、このブログで言及した資料の冒頭を持っています）。

    次の式のシグモイド関数

 

    + B：Zは、Zは等しくてもよい、例えば、の線形結合であることを特徴とする請求  *  +  * 。小さなgの（Z）関数を代入することにより、大きな正または負見出され、結果が0または1になる傾向があります。

    このように、グラフィカル表現としてシグモイド関数g（Z）（横軸は、zのドメインを示し、縦軸は距離G（z）を表します）：

    つまり、シグモイド関数の機能は、圧縮に0と1の間の実数に相当します。zが非常に大きい正の数である場合、G（z）は1に近くなり、そしてZは、非常に小さな負、次いで、G（z）はゼロに近づくあります。

    それは何を使用0-1に圧縮？したがって、そのような活性化関数の出力として、「確率のカテゴリ」として見ることができる機能を活性化するのに有用である、それは陽性試料の90％確率として解釈することができ、0.9です。

    以下に示すように、例えば、（スタンフォード図学習機械に開示された部門から引用）

 

 

    = B + Z  *  +  * 、bはバイアス項を-30を取ると仮定されている、、20であると解釈されます

• 場合 = 0  = 0、Z = -30、G（Z） = 1 /（1 + E ^ -z） ゼロに近づきます。場合、Zは= -30 gの値（z）が0に近い場合に加えて、パターンは、図シグモイド関数からわかります 

• もし = 0  = 1、または = 1  = 0、+ Bは= Z *  +  *  = -30 + -10 = 20は、同様に、Gの値（z）が0に近い、あります   

• もし = 1  = 1、B = + Z *  +  *  = * -30 + 20、1 + 1 = 10 * 20であり、この時点で、G（z）は1に近づきます。  

    換言すれば、唯一、そしてそれらは1→1、G（z）を取っている場合、正のサンプルが決定され、又は0→時刻0、G（z）を取って、このような分類の目的を達成するため、負のサンプルを決定されます。

1.3ニューラルネットワーク

    図のように単一ニューロンの下で。

    一緒にグループ化され、彼らは、ニューラルネットワークを形成します。以下の図は、3層ニューラルネットワークアーキテクチャであります

    元の入力情報は、入力層と呼ばれる上方左端の図は、中間隠れ層と呼ば右端出力層ニューロン（上図は、唯一つの出力層ニューロンである）、と呼ばれます。

    Shajiao入力層と出力層、その中間層？

• 输入层（Input layer），众多神经元（Neuron）接受大量非线形输入讯息。输入的讯息称为输入向量。

• 输出层（Output layer），讯息在神经元链接中传输、分析、权衡，形成输出结果。输出的讯息称为输出向量。

• 隐藏层（Hidden layer），简称“隐层”，是输入层和输出层之间众多神经元和链接组成的各个层面。如果有多个隐藏层，则意味着多个激活函数。

    同时，每一层都可能由单个或多个神经元组成，每一层的输出将会作为下一层的输入数据。比如下图中间隐藏层来说，隐藏层的3个神经元a1、a2、a3皆各自接受来自多个不同权重的输入（因为有x1、x2、x3这三个输入，所以a1 a2 a3都会接受x1 x2 x3各自分别赋予的权重，即几个输入则几个权重），接着，a1、a2、a3又在自身各自不同权重的影响下 成为的输出层的输入，最终由输出层输出最终结果。

    上图（图引自Stanford机器学习公开课）中

• 表示第j层第i个单元的激活函数/神经元
• 表示从第j层映射到第j+1层的控制函数的权重矩阵 

    此外，输入层和隐藏层都存在一个偏置（bias unit)，所以上图中也增加了偏置项：x0、a0。针对上图，有如下公式

    此外，上文中讲的都是一层隐藏层，但实际中也有多层隐藏层的，即输入层和输出层中间夹着数层隐藏层，层和层之间是全连接的结构，同一层的神经元之间没有连接。

2 误差逆传播算法（BP）

由上面可以得知：神经网络的学习主要蕴含在权重和阈值中，多层网络使用上面简单感知机的权重调整规则显然不够用了，BP神经网络算法即误差逆传播算法（error BackPropagation）正是为学习多层前馈神经网络而设计，BP神经网络算法是迄今为止最成功的的神经网络学习算法。

一般而言，只需包含一个足够多神经元的隐层，就能以任意精度逼近任意复杂度的连续函数[Hornik et al.,1989]，故下面以训练单隐层的前馈神经网络为例，介绍BP神经网络的算法思想。

以前の単一の隠れ層にフィードフォワードニューラルネットワークトポロジグラフは、勾配降下法（勾配降下）、単一のサンプル重量の平均二乗誤差の負の勾配の方向を用いて、BPニューラルネットワークアルゴリズムが調整されます。見ることができる：BPは、まず、中間層の重量に調整隠れニューロンへの逆伝播誤差は、出力層のニューロンの出力層しきい値に接続され、次いで、隠れニューロンの平均二乗誤差は、入力を調整します隠れ層の接続の重みとニューロンの隠れ層のしきい値に層。基本的な導出プロセスとBP原理はパーセプトロンアルゴリズムが導出次出力層の重み調整規則に隠れ層を調整する権利が与えられると、同じです。

 

ます。http：//blog.csdn.net/zouxy09/article/details/8781543からリファレンス

http://m.blog.csdn.net/v_JULY_v/article/details/51812459