版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_29557137/article/details/79649781
深度学习的激活函数一般使用四种：分别为sigmoid、tanh、ReLu 、Leaky Relu。
ReLu（Z） = max（0，Z）
Leaky Relu（Z） = max（Z * 0.01，Z）
sigmoid 激活函数：除了输出层是一个二分类问题基本不会用它。
tanh 激活函数：tanh 是非常优秀的，几乎适合所有场合。
ReLu 激活函数：最常用的默认函数，，如果不确定用哪个激活函数，就使用ReLu 或者Leaky ReLu。
tanh 函数是sigmoid 的向下平移和伸缩后的结果。对它进行了变形后，穿过了(0,0)点，并且值域介于+1 和-1 之间。tanh 函数或者双曲正切函数是总体上都优于 sigmoid 函数的激活函数。
sigmoid 函数和 tanh 函数两者共同的缺点是，在