5.1 神经元模型
-
神经网络（neural networks）方面的研究很早就已经出现，今天“神经网络”已经是一个相当大的，多学科交叉的学科领域，各相关学科对神经网络的定义多种多样，本书采用目前使用最广泛的一种，即“神经网络是由具有适应性的简单单元组成的广发并行的互联网络，它的组织能够模拟生物神经系统对真实物体所作出的交互式的反应”。我们在机器学习中谈论神经网络指的是“神经网络学习”，或者是，是机器学习和神经网络这两个学科的交叉的部分
-
神经网络中最基本的成分是“神经元”模型，即上述定义的简单单元。在生物神经网络中，每个神经元和其他的神经元相连，当他“兴奋”的时候，就会向相连的神经元发送化学物质，从而改变这些神经元的电位。如果某种神经元的电位超过了一个阈值（threshold），那么他就会被激活。即“兴奋”起来，向其他的神经元发送化学物质
-
1943年，McCulloch and Pitts将上述的情形抽象为图5.1所示的简单模型，这就是一直沿用至今的“M-P神经元模型”，在这个模型中，神经元接受来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接（connection）进行传递，神经元接收到的总输入值将和神经元的阈值进行比较，然后通过“激活函数”处理以产生神经元的输出。
-
理想中德军ihuo函数是图5.2的阶跃函数，它将对应的输入值对应为0或者是1.显然1对应神经元兴奋，0对应于神经元抑制。然而阶跃函数具有不连续，不光滑等不太友好的性质。因此实际上我们用Sigmoid作为激活函数，典型的Sigmoid函数如下图所示。它可以将较大范围变化的输入值压缩在（0，1）的输出范围之内。因此有时候也叫挤压函数
-
将许多这样的神经元按照一定的层次结构连接起来，就得到了神经网络
-
事实上，从计算机科学的角度来看，我们可以先不考虑神经网络是否真的模拟了生物神经网络，只需要将一个神经网络视作为包含了很多参数的数学模型，这个模型是若干个函数，例如yj = f（求和（wixi -谁他j））相互嵌套带入而得，有效的为神经网络学习算法大多以数学证明为支撑
-
例如10个神经网络两两连接，则有100个参数；90个连接权和10个阈值