神经网络入门学习——神经网络的构造
完成日期：2018.04.24
构造一个神经网络
生物体内每个生物神经元有不同的作用，当这些不同种类的神经元依据某种结构联系起来时，就成为神经网络。我们模仿人类大脑，把人工神经网络看成是一种运算模型，由大量的节点（或称神经元）相互连接构成。每个节点代表一种特定的输出函数。每两个节点间的连接都代表一个通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出根据网络的连接方式，权重值和激励函数的不同而不同。
1、线性不可分
我们已经使用感知机解决了逻辑与AND和逻辑或OR的运算问题，可是发现感知机无法解决逻辑异或XOR的问题，因为逻辑异或XOR是线性不可分的。
那么什么是线性不可分呢？
线性可分就是可以用一条直线来区分两类事物
线性不可分就是无法用一条直线区分两类事物
如图，AND和OR是线性可分的，而XOR是线性不可分的。
因此在解决XOR的问题是，需要在感知机（神经网络）后再加多一层。
2、多层神经网络
（1）感知机：感知机是一种双层神经网络，一层为输入层（以上我们简化为输入刺激，也就是输入节点不参与计算），另一层具有计算单元，可以通过监督学习建立模式判别的能力。
（2）多层神经网络（也叫前馈神经网络）：把由输入的信号源、隐层以及输出组成的层叫作多层神经网络，一个重要的特征是上一层输出只能是下一层的输入，不可跨层链接。
特点：前馈网络的各神经元接收前一级输入，并输出到下一级，无反馈。
节点：输入节点，输出节点。
（3）计算单元：可有任意一个输入，但只有一个输出，输出可耦合到任意多个其他节点的输入。
（4）层：可见层——输入和输出节点；隐层——中间层。
3、解决XOR问题（解决线性不可分）——利用BP算法调整参数
使用一个两层神经网络可以记忆异或XOR运算，如图：
第一层上侧的神经元有净输入：2p1 + 2p2 - 1
它的净输入/输出与p1、p2的关系如图：
| p1/p2 | 0 | 1 |
|---|---|---|
| 0 | -1 step(-1)=0 | 1 step(1)=1 |
| 1 | 1 step(1)=1 | 3 step(3)=1 |
第一层下侧的神经元有净输入：-2p1 - 2p2 + 3
它的净输入/输出与p1、p2的关系如图：
| p1/p2 | 0 | 1 |
|---|---|---|
| 0 | 3 step(3)=1 | 1 step(1)=1 |
| 1 | 1 step(1)=1 | -1 step(-1)=0 |
最后，由输出神经元对两个神经元的数据进行整合，这里使用逻辑与操作，这样就能实现逻辑异或XOR的记忆了。