神经网络之初识神经网络
本文只是感性的介绍一下神经网络的构造，不涉及太复杂的东西哈
如上图的这个网络，最左边的称为输入层， 其中的神经元称为输入神经元。 最右边的， 即 输出层包含有输出神经元， 在本例中， 输出层只有—个神经元。 中间层， 既然这层中的神经元既不是输入也不是输出， 即被称为隐藏层。 隐藏” 这—术语也许盺上去有些神秘 ，博主第—次听到这个词， 以为它必然有一些深层的哲学或数学涵意 但它实际上仅仅意味着 “既非输入也非输出“。上面的网络只有—个隐藏层， 但有些网络有多个隐藏层。 例如， 下面的四层网络有两个隐藏层：
因为一些历史的原因，尽管神经网络是由S型神经元而不是感知器构成，然而，这种多层网络大多数还是被称为多层感知器或者MLP。
设计网络的输入输出层洹常是比较直接的。 例如，假设我们尝试确定—张手写数字的图像上是否写的是 “9”。 很自然地，我们可以将图片像素的强度进行编码作为输入神经元来设计网络。如果图像是—个64X 64的灰度图像，那么我们会需要4096 = 64 X 64个输入神经元，每个强度取0和1之间合适的值。 输出层只需要包含一个神经元， 当输出值小千 0.5时表尔 输入图像不是“9”，反之，输入图像是“9”.
相比之神经网络中输入输出层的直观设计，隐藏层的设计则堪称—门艺术。 特别是，通过— 些简单的经验法则来总结隐藏层的设计流程是不可行的。 相反，神经网络的研究人员巳经为隐藏层开发了许多设计最优法则，这有助千网络的行为能符合人们期望的邦样。 例如，这些法则 可以用于帮朗权衡隐藏层数量和训练网络所需的时间开销。
目前为止，我所描述的神经网络，都是以上—层的输出作为下—层的输入。 这种网络被称为 前馈神经网络。 这意味着网络中是没有回路的 ，信息总是向前传播，从不反向回馈。 如果确实有回路，我们最终会有这样的情况： 输入层函数的输入依赖于输出。 这将难于理解，所以不允许这样的环路。
然而，也有—些人工神经网络的模型，其中反馈环路是可行的。这些模型被称为递归神经网 络。这种模型的设计思想，是具有休眠前会在—段有限的时间内保持激活状态的神经元。 这种激活状态可以剌激其它神经元， 使其随后被激活并同样保持—段有限的激活时间。 这样会导致更多的神经元被激活，随着时间的推移，我们得到—个级联的神经元激活系统。 因为一个神经元的输出只在一段时间后而不是即刻影响它的输入， 在这个模型中回路并不会引起问题。
递归神经网络比前馈网络影响力小得多， 部分原因是递归网络的学习算法（至少目前为止） 不够强大。 但是递归网络仍然很有吸引力。 它们原理上比前馈网络更接近我们大脑的实际工作。 并且递归网络能解决一些重要的问题， 这些问题如果仅仅用前馈网络来解决， 则更加困难。
注：
该篇博客是博主在学习”Neural Networks and Deep Learning”, Determination Press, 2015这本书时的笔记。图片也来源这本书。