从神经网络到深度学习（一）

神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。
                                                                                                                                 ——T.Koholen

神经网络的起源

神经网络最早起源于人们对于大脑的研究，当时科学家发现，人的大脑是一个非常神奇的东西，人的听、说、读、写，以及很多智能、复杂的行为都与大脑有关，人类大脑是一个可以产生意识、思想和情感的器官，不仅如此，大脑还具有非常强大的学习能力，它能够去学习和处理各种各样的信息，对于不同的外界信号，它都能够产生相应的反应，真的是一个非常强大的学习体。但是当时人们对于大脑的了解太少了，人们并不知道它内部的结构、底层的原理到底是什么，大脑对于人们来说，就像一个黑盒子，但是这并不能阻碍人们研究的脚步。
这里写图片描述

随着生物学的发展，人们慢慢了解到，人的大脑实际上是由神经元、神经胶质细胞等组成，其中，神经元也叫神经细胞，是携带和传输信息的细胞，是人脑神经系统中最基本的单元。人的大脑包含了近860 亿个神经元，每个神经元又有上千个突触和其它神经元相连接。这些神经元和它们之间的连接形成巨大的复杂网络，其中的神经连接总长度可达数千公里。科学家们将这样一个复杂的网络称为生物神经网络。
这里写图片描述

人们认为，正是因为这样一个复杂的网络结构，就成为了人脑之所以这么强大的重要原因，因此，为了对它进行研究，科学家们仿造生物神经网络构造了一个模仿人脑神经系统的数学模型，称为人工神经网络，简称神经网络。
这里写图片描述
想要真正深入的了解神经网络，还是要从它最基本的结构开始。

神经元

神经元是一个神经网络中最基本的单元，在人脑中，它主要负责信号的携带和传输，刚刚提到，每个神经元都通过很多突触来与其他神经元连接，突触可以理解为神经元之间的链接“接口”，将一个神经元的兴奋状态传到另一个神经元。一个神经元可被视为一种只有两种状态的细胞——兴奋和抑制。神经元的状态取决于从其它的神经细胞收到的输入信号量，及突触的强度(抑制或加强)。当信号量总和超过了某个阈值时，细胞体就会兴奋，产生电脉冲。电脉冲沿着轴突并通过突触传递到其它神经元。
这里写图片描述

我们之前还提到人的大脑具有非常强大的学习能力，那么大脑的神经网络是如何学习的呢？其实在人类大脑的所有神经网络中，每个神经元本身并不重要，重要的是神经元如何组成联接。不同神经元之间的突触有强有弱，其强度是可以通过学习(训练)来不断改变的，具有一定的可塑性。不同的联结形成了不同的记忆印痕。

于是1943年，McCulloch和Pitts两位科学家提出了一个人工神经元模型——M-P神经元模型
这里写图片描述
其中x可以看成某一个节点所携带的信息，w为神经元之间突触的强度，也称为权重，每个权重代表了一个节点对另一个节点的影响大小，只有当输入信号的强度大于某个阈值 $\theta$ 时，这个神经元才会被激活，从而产生y的输出信号，即：
这里写图片描述
在这里w和 $\theta$ 都是可以学习的参数，可以这么理解，w和 $\theta$ 就相当于当前神经元对于上一层的神经元所输入信号的一个感知和认识，为什么这么说呢，其实w和 $\theta$ 以及神经元最初始的状态就像一张白纸，对于一个输入信号，它并不知道这个信号是什么，以及它需要做什么，打个比方来说，就像猫和狗，如果是人眼来看，一眼就能分辨出哪只是猫哪只是狗，这是因为人们对于猫和狗以及足够的了解和认识了，但是对于神经元来说就没有这么简单了，它会怎么做呢，首先它需要大量的猫和狗的信号，让它来进行判断，然后会有人对它判断的结果进行评判，它就在这么多的样本中，不断的试错，从而不断的调整自己对于猫和狗的认识，也就是w和 $\theta$ ，直到它能够完全的将猫和狗区分开来，这样，在下一次它看到猫和狗时，就像人一样，能够一眼的将它们区分开来了。
这里写图片描述

神经网络的作用

通过刚刚那个例子，你可能能够了解到，一个神经网络可以看做一个可以学习的函数，接受不同数据的训练，不断通过调整权重而得到契合实际模型。神经网络可以看作是一个通用的函数逼近器，一个三层的神经网络可以逼近任意的函数。因此，理论上只要有足够的训练数据和神经元数量，神经网络就可以学到很多复杂的函数。人工神经网络模型的塑造任何函数的能力大小可以称为“容量”，与可以被储存在网络中的信息的数量和复杂性相关。
这里写图片描述
正是因为神经网络模型具有这么强大的划分和逼近的能力，它最基本也是最重要的作用就是——分类，也就是人们最基本也是最重要的功能——认知。