Tensorflow 激活函数

1.激活函数activation function

      激活函数必须可以微分，因为在backpropagation误差反向传递的时候，只有这些可微分的激活函数才能把误差传递回去。

2.合理的使用激活函数

      当你的神经网络只有几层，使用任何激活函数都可以，影响不大。当你使用特别多层神经网络，不能任意选择，因为会涉及到梯度爆炸和梯度消失的问题。

    (1)CNN中常用的是relu

    (2)循环神经网络中推荐是tanh或者relu

3.基本的activation function：

    tf.nn.relu

    tf.nn.relu6

    tf.nn.elu

    tf.nn.softsign

    tf.nn.softplus

    tf.nn.dropout

    tf.nn.bias_add

    tf.sigmoid

    tf.tanh