目录
3、ReLU（Rectified Linear Unit）激活函数
5、ELU（Exponential Linear Unit）激活函数
激活函数在神经网络中扮演着重要的角色，其主要作用是引入非线性性，使神经网络能够学习更加复杂的函数。以下是常用的激活函数及其优缺点对比信息：
-
1、Sigmoid 激活函数
优点：
-
在[-1,1]区间内有平滑的梯度，这使得模型训练更加稳定；
- 函数输出在[0,1]之间，可以被解释为概率；
- 原函数为偶函数，输出可以被归一化。
- Sigmoid 函数的导数在较大或较小的输入值时接近于0，这会导致梯度消失，使得训练过程变得困难；
- 函数输出不是以0为中心，这可能导致梯度下降时出现偏移。
-
2、Tanh 激活函数
-
优点：
- Tanh 函数是一个可导的、平滑的函数，输出在[-1,1]之间，可以被解释为概率；
- 输出以0为中心，这有利于梯度下降；
- 与 Sigmoid 函数相比，Tanh 函数的均值接近0，这有助于加速模型的训练。
- 缺点：
- 在极端输入值时，Tanh 函数的梯度仍然会变得非常小，导致梯度消失的问题。
-
3、ReLU（Rectified Linear Unit）激活函数
-
优点：
- 在实践中，ReLU 函数比 Sigmoid 和 Tanh 函数更快地收敛；
- 当输入为正时，ReLU 函数的梯度为常数，避免了梯度消失的问题；
- 计算速度非常快。
- 缺点：
- 当输入为负时，ReLU 函数的梯度为0，这被称为“ReLU 死亡现象”，可能导致一些神经元永远不会被激活，影响模型的表达能力；
- ReLU 函数输出不包括负值，这可能会导致一些神经元的输出偏向于0。
-
4、LeakyReLU 激活函数
-
优点：
- LeakyReLU 函数解决了 ReLU 函数的“死亡现象”，使得神经元可以在输入为负时被激活；
- LeakyReLU 函数保留了 ReLU 函数的快速计算速度。
-
缺点：
- LeakyReLU 函数需要额外的超参数 $\alpha$，这增加了模型的复杂性；
- 当 $\alpha$ 设置不当时，LeakyReLU 函数可能会导致神经元输出过大或过小，影响模型的表达能力。
-
5、ELU（Exponential Linear Unit）激活函数
-
优点：
- ELU 函数解决了 ReLU 函数的“死亡现象”，同时保留了 ReLU 函数的快速计算速度；
- 当输入为负时，ELU 函数具有负饱和度，这有助于提高模型的鲁棒性；
- ELU 函数的输出可以被归一化，这有助于模型的训练。
- 缺点：
- ELU 函数需要计算指数函数，这可能会增加模型的计算复杂度；
- 当输入为正时，ELU 函数的梯度仍然可能变得非常小，导致梯度消失的问题。
-
6、Softmax 激活函数
-
优点：
- Softmax 函数可以将输出映射到概率空间，适用于分类问题；
- Softmax 函数的输出可以被解释为各个类别的概率；
- Softmax 函数在多分类问题中表现良好。
- 缺点：
- Softmax 函数可能会导致梯度消失或梯度爆炸的问题；
- Softmax 函数的计算复杂度较高，特别是在输出维度较大时。
综上所述，不同的激活函数适用于不同的任务和数据集。选择正确的激活函数可以提高模型的表达能力和训练效率，从而提高模型的性能。
第一次做！一起学习！！！！