神经网络的结构： 神经元之间的连接方式
最常见：
- 前馈神经网络 feedforward neural network
信息从输入层流入，沿着一个方向通过隐藏层，直到输出层。
如果有多个隐藏层，就成为深度神经网络。
They compute a series of transformations that change the similarities between cases.
在前一层相同的内容可能下一层就不同了。
所以每一层神经元信号的非线性输出成为下一层的输入.
- 循环神经网络 RNN（Recurrent Neural Networks）
信息在其中循环流动，该网络可长时间记忆，表现出各种有趣的震荡，但相对更难训练，结构更复杂。
比前馈神经网络更强大。
图中包含有向环路，意味着从一个神经元开始，沿着箭头移动，有时候可能又回到了开始的神经元。
RNN动态变化非常复杂，更切合生物学。
多隐藏层的RNN是特例，隐藏层之间没有互联。
在每个时间戳使用相同的权重矩阵。
在每个时间戳获取输入同时产生输出。
例子：RNN训练的根据一些字符串预测下一个字符
对称连接网络 （symmetric interconnected network）
两个神经元之间两个方向的权重是相同的。
比RNN分析容易的多。
______________________________________________________________________
Perceptrons : The first generation of neural networks
感知器是统计学模式识别系统的典型例子。
给一些特征分配权重，将权重之和与阈值比较，如果大于阈值，就是正面的例子。
AMAZING ！
如果存在这个权重，此方法就可以找到它。
___________________________________________________________________________________________
A geometrical view of perceptrons
Weight - Space 权值空间
空间的每个维度对应一个权值。
空间中的一个点代表了权值中的一个特定的设定。
去掉阈值，我们可以把所有训练集当成权值空间中的一个穿过原点的超平面。
权值对应点，训练案例对应平面
Each training case defines a plane.(black line)
这个平面穿过原点并且和输入向量是正交的。
y = w
Tx 类比正比例函数
在平面的一边，所有权重都是正确的。
就像 线性规划
feasible region : 所有权重都准确的区域。
we will find a weight factor that not only gets every training case right , but it gets it right by at least a certain margin , where the margin is as big as the input factor for that training case.——generously feasible weight vector
___________________________________________________________________________________
What perceptrons can't do
将前两个不等式相加： w
1+w
2≥2θ
将后两个不等式相加： w
1+w
2≤2θ
无法区分
not linearly separable
_____________________________________________________________________________________
Question:
