神经网络是如何训练的
首先考虑对于一个网络，我们希望学习权重和偏置，从而得到正确的分类效果。为了查看学习算法是如何工作的，我们希望权重和偏置的每作出一点改变，对应输出结果也作出一点改变。正是由于这个性质，网络才具备了学习的能力。
为什么感知网络不能进行学习
上图代表着一个感知器网络，实际上，对于单个感知器的权重和偏置的改变有时会造成该感知器输出的完全翻转，即从0变为1。这种翻转可能会造成网络剩余部分以复杂方式进行了改变。例如：虽然你的数字“9”图像被正确分类，但是当输入其他数字图像时，网络的行为以不可预测的方式进行了改变。即感知器网络无法做到网络输出随着权重和偏置的微小改变，也作出微小改变。综上所述，在感知器网络中，很难实现通过逐渐改变权重和偏置的方式来对网络输出作出朝正确结果的稍微改变。
引进sigmoid神经元 ＃＃
为了克服感知器的上述问题，引进sigmoid神经元。sigmoid 神经元可以输入0到1的数（包括0和1），输出也不仅仅只有0，1。神经元的输出变为非线性函数：∂(w•x +b)
称∂为sigmoid 函数。
虽然sigmoid 神经元形式上跟感知器有很大的区别，但本质上，它和感知器是相似的：当 z 为很大的正数时，∂函数约等于1；当 z 为很小的负数时，∂函数约等于0。这种行就是sigmoid神经元和感知器的相似性。只有当 z 取值适中时，两者有较大的差别。这种差别是由于sigmoid函数的形状决定的。
那么为什么还要引出sigmoid神经元：
感知器对应的激活函数就是位于下面的图形－跨越函数。即感知器的输出只有0和1，其中Z＝w•x。位于上方的图是sigmoid函数，该函数本质上就是对跨越函数进行了平滑。该平滑的作用就是：每对权重和偏置进行微小改变，对应输出也作出微小改变。实际上：
从公式中可以将∆output看成关于∆wj 和∆b 的线性函数。
sigmoid函数的图形形状，决定该函数具备神经网络学习的原则：权重和偏置的微小改变，神经网络的输出也可以作出微小改变。