（1）激活函数
激活函数（Activation function）并不是指这个函数去激活什么，而是指如何把“激活的神经元的特征”通过函数把特征保留映射出来。对输入信息进行非线性变换。
线性模型的最大特点是任意线性模型的组合仍然还是线性模型。只通过线性模型，任意层的全连接神经网络和单层神经网络模型的表达能力没有任何区别。线性模型最大的局限性是表达能力不够，解决的问题有限。线性模型就能解决线性可分问题。
常用激活函数
1）sigmoid函数（曲线很像“S”型）
公式：
曲线图：
sigmoid函数也叫Logistic函数，将一个实数映射到（0,1）的区间，可以用做二分类。
在特征相差比较复杂或是相差不是特别大时效果比较好。
sigmoid函数缺点：
激活函数计算量大，反向传播求误差梯度时，求导涉及除法
反向传播时，很容易就会出现梯度消失的情况，从而无法完成深度网络的训练。（sigmoid的饱和性）