目录
如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~
0. 前言
万能近似定理（universal approximation theorem）表示，一个前馈神经网络如果具有线性输出层和至少一层具有任何一种挤压性质的激活函数的隐藏层，只要给予网络足够数量的隐藏单元，它可以以任意精度来近似任何从一个有限维空间到另一个有限维空间的可测函数，前馈神经网络的导数也可以任意好的近似函数的导数。
假设，在神经网络中不使用非线性激活函数，输入层 ，隐藏层输出
，输出层输出
，最终的输出仍然是线性的。
在新技术的研究和开发期间，通常会测试很多不同的激活函数，并且发现许多标准方法的变体表现非常好。
1. ReLU 整流线性单元
大多数隐藏单元采用 ReLU 整流线性单元（rectified linear unit）， ：
如上图所示（图源：深度学习），函数仍然非常接近线性，因此它保留了许多线性模型易于使用梯度优化的属性。
ReLU 的一个缺陷是它们不能通过基于梯度的方法学习那些使激活函数为零的样本。
2. 绝对值整流线性单元
绝对值整流线性单元（absolute value rectification）表示为， ：
3. 渗漏整流线性单元
渗漏整流线性单元（Leaky ReLU）表示为， ：
4. 参数化整流线性单元
参数化整流线性单元（parametric ReLU，PReLU）表示为， 。
将 作为学习的参数。
5. maxout 单元
maxout 单元将输入 划分为每组
个值的几个组，然后针对每组输出组内最大的值：
换言之，输入 个特征，在不损失信息的情况下，每一组的
个特征用最大值概括，那么输出就能减少
倍的特征。
maxout 单元可以学习具有多达 段的分段线性凸函数，使用足够大的
，maxout 单元可以以任意精度来近似任何凸函数。
6. logistic sigmoid 单元
sigmoid 单元在其大部分区域内都饱和，使得基于梯度的学习变得非常困难，所以不鼓励其作为隐藏单元激活函数：
7. 双曲正切单元
双曲正切函数定义为：
：
8. 径向基函数
径向基函数（radial basis function，RBF）表示为：
这个函数只有在 很接近模版时才有用，大部分时候都饱和，因此很难优化。
9. softplus 函数
softplus 函数是 ReLU 的平滑版本：
10. 硬双曲正切函数
硬双曲正切函数（hard tanh）与双曲正切函数和 ReLU 类似：
如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~