无论在深度学习还是在机器学习中，激活函数是必不可少的，这里做下总结。
修正线性单元 Relu
Rectified linear unit。深度学习用的最多的3个激活函数之一，为什么说他在深度学习中用的多呢？因为简单，速度快。。下面给出图与公式。输出值范围[0，1)。
·
特点：计算量小；很多x的左侧都为提高网络的稀疏性，降低过拟合的发生；降低出现梯度为0的机会，
从上图不难看出，ReLU函数其实是分段线性函数，把所有的负值都变为0，而正值不变，这种操作被成为单侧抑制。可别小看这个简单的操作，正因为有了这单侧抑制，才使得神经网络中的神经元也具有了稀疏激活性。尤其体现在深度神经网络模型(如CNN)中，当模型增加N层之后，理论上ReLU神经元的激活率将降低2的N次方倍。这里或许有童鞋会问：ReLU的函数图像为什么一定要长这样？反过来，或者朝下延伸行不行？其实还不一定要长这样。只要能起到单侧抑制的作用，无论是镜面翻转还是180度翻转，最终神经元的输出也只是相当于加上了一个常数项系数，并不影响模型的训练结果。之所以这样定，或许是为了契合生物学角度，便于我们理解吧。
那么问题来了：这种稀疏性有何作用？换句话说，我们为什么需要让神经元稀疏？不妨举栗子来说明。当看名侦探柯南的时候，我们可以根据故事情节进行思考和推理，这时用到的是我们的大脑左半球；而当看蒙面唱将时，我们可以跟着歌手一起哼唱，这时用到的则是我们的右半球。左半球侧重理性思维，而右半球侧重感性思维。也就是说，当我们在进行运算或者欣赏时，都会有一部分神经元处于激活或是抑制状态，可以说是各司其职。再比如，生病了去医院看病，检查报告里面上百项指标，但跟病情相关的通常只有那么几个。与之类似，当训练一个深度分类模型的时候，和目标相关的特征往往也就那么几个，因此通过ReLU实现稀疏后的模型能够更好地挖掘相关特征，拟合训练数据。
此外，相比于其它激活函数来说，ReLU有以下优势：对于线性函数而言，ReLU的表达能力更强，尤其体现在深度网络中；而对于非线性函数而言，ReLU由于非负区间的梯度为常数，因此不存在梯度消失问题(Vanishing Gradient Problem)，使得模型的收敛速度维持在一个稳定状态。这里稍微描述一下什么是梯度消失问题：当梯度小于1时，预测值与真实值之间的误差每传播一层会衰减一次，如果在深层模型中使用sigmoid作为激活函数，这种现象尤为明显，将导致模型收敛停滞不前。
缺点：某一层大量参数小于0，无论前向传播还是反向传播，将会发生后面的层无法激活。
假设有一个神经网络的输入W遵循某种分布，对于一组固定的参数（样本），w的分布也就是ReLU的输入的分布。假设ReLU输入是一个低方差中心在+0.1的高斯分布。
在这个场景下：
- 大多数ReLU的输入是正数，因此
- 大多数输入经过ReLU函数能得到一个正值（ReLU is open），因此
- 大多数输入能够反向传播通过ReLU得到一个梯度，因此
- ReLU的输入（w）一般都能得到更新通过随机反向传播（SGD）
现在，假设在随机反向传播的过程中，有一个巨大的梯度经过ReLU，由于ReLU是打开的，将会有一个巨大的梯度传给输入（w）。这会引起输入w巨大的变化，也就是说输入w的分布会发生变化，假设输入w的分布现在变成了一个低方差的，中心在-0.1高斯分布。
在这个场景下：
- 大多数ReLU的输入是负数，因此
- 大多数输入经过ReLU函数能得到一个0（ReLU is close）,因此
- 大多数输入不能反向传播通过ReLU得到一个梯度，因此
- ReLU的输入w一般都得不到更新通过随机反向传播（SGD）
发生了什么？只是ReLU函数的输入的分布函数发生了很小的改变（-0.2的改变），导致了ReLU函数行为质的改变。我们越过了0这个边界，ReLU函数几乎永久的关闭了。更重要的是ReLU函数一旦关闭，参数w就得不到更新，这就是所谓的‘dying ReLU’。
逻辑斯蒂sigmoid
他的输出范围为（0，1）
from scipy.special import expit
log_act = expit(x)
双曲正切 tanh
深度学习用的最多的3个激活函数之二。下图为公式和曲线图。它的输出值更广，(-1，1)，较比sigmid。可以加速反向的收敛。
import numpy as np
tanh = np.tanh(x