第六章Deep Feedforward Networks
Deep feedforward networks（feedforward neural networks，multi-layer perceptrons （MLPs））
深度前馈网络结构在没有反馈连接，存在反馈连接的网络叫做recurrent neural networks。
深度前馈网络之所以叫做网络是因为它可以表示很多层的复合函数套用的结果。例如一个三层的神经网络可以表示为：，
表示第一层，
表示第二层，最后一层叫做输出层。输出层的最终输出由每一个训练数据对应的标签所给定，但是训练数据不能决定每一个中间层的输出应该是多少，所以这些中间层叫做隐藏层，隐藏层的状态由学习算法来决定，学习算法需要利用这些中间层来使网络的最终输出接近标签值。
可以把每一层看做是一个向量到向量的函数，这是可以的。但是我们更喜欢把每一层的每一个神经元看做是一个向量到标量的函数，每一个神经元接受来自上一层所有神经元的激活值，经过计算产生自己的激活值。
6.1用深度前馈网络学习异或（XOR）
使用深度前馈网络解决异或问题，我们只需要使用一个三层（输入层，隐藏层，输出层）的全连接网络就可以。并且隐藏层只需要两个隐藏单元。隐藏层神经单元简单地使用线性函数解决不了异或问题，所以我们选用现代神经网络默认推荐的限流线性单元（ rectified linear unit）ReLU作为激活函数。ReLU的表达式以及函数图像为：
那么，整个网络所估计的函数表达式为：
下面给出一个可以实现异或功能的权重和偏置的值：
最终的偏置b取0。
现在我们将x的所有输入排列成一个矩阵，作为一个输入的batch输入神经网络：
将XW加上偏置c得：
经过ReLU激活函数之后：
最终乘以权重w得到网络的最终输出结果：
实际上，在处理实际问题中，远远要比异或问题复杂，我们不可能人工的猜测出网络的所有权重和偏置的值，但是利用梯度下降算法可以近似估计出权重和偏置的值，并且，权重和偏置的初始值不同，会导致最终经过梯度下降算法学习以后得到的最优权重和偏置的值也不同。
