Machine Learning 常用激活函数

版权声明：欢迎转载，请注明出处噢，谢谢 https://blog.csdn.net/DT2131/article/details/82703235

1.Sigmoid 函数

2.ReLU函数

3.PReLU函数

                                            ReLU                                                                                     PReLU

                         

注意：

  是指由每个上层神经元加权计算的到的值

  是受PReLU作用的每一个神经元的参数，并参与BP时的修改。

Reference：https://arxiv.org/pdf/1502.01852.pdf