神经网络常用的激活函数

在介绍神经网络常用的一些激活函数之前，了解一下神经网络中饱和的概念。当一个函数满足下列关系时我们称之为饱和

对于任意$x$，如果存在常数$c$满足下列关系时称之为硬饱和

对于任意$x$，如果存在常数$c$满足下列关系时称之为软饱和

1. S型饱和函数

此类函数主要有 Sigmoid 函数、Tanh 函数和 Softsign函数。
Sigmoid函数图像如下


Tanh函数图像如下

Softsign函数图像如下


这些函数都具有软饱和性，它们的导数都比较小$<1$，这样在误差反向传播相乘的时候会越来越小，导致梯度消失。

2. ReLU函数

它的图像如下


它的导数在正数部分为1，不会造成梯度消失，但它特别依赖于初始权重选取，如果选取不好，使得某个节点的ReLU输入为负数，则导数为0，节点不再更新，相当于节点死亡，因此后续还发展了一些ReLU的变体函数解决这个问题，感兴趣的可以根据自己研究方向寻找。