tensorflow: tf.train.exponential_decay函数

官方api翻译：

tf.train.exponential_decay(learning_rate, global_step, decay_steps, decay_rate, staircase=False, name=None)

应用指数衰减的学习率。

在训练模型时，经常建议在训练过程中降低学习速度。 该函数将指数衰减函数应用于提供的初始学习速率。

它需要一个global_step值来计算衰减的学习速率。 你可以传递一个TensorFlow变量，在每个训练步骤增加.

该函数返回衰退的学习速率。 它计算公式为：

decayed_learning_rate=learining_rate*decay_rate^(global_step/decay_steps)  

如果参数staircase为True，那么global_step / decay_steps是一个整数除法，衰减的学习率遵循阶梯函数。

其中，decayed_learning_rate为每一轮优化时使用的学习率；

           learning_rate： 一个标量float32或float64张量或一个Python数字。 最初的学习率；

            global_step: 标量int32或int64张量或Python数字。 用于衰减计算的全局步骤。 一定不能是负数的。

           decay_rate： 一个标量float32或float64张量或一个Python数字。 衰退率。；

           decay_steps：标量int32或int64张量或Python数字。必须是正数。 请参阅上面的衰减计算。

            staircase:  布尔。 如果是true，它以不连续的间隔衰减学习速率。

            name： String类型。操作的可选名称。 默认为'ExponentialDecay'

返回：

        与learning_rate类型相同的标量张量。 衰退的学习率。

来个例子：

global_step = tf.Variable(0)

learning_rate = tf.train.exponential_decay(0.01, global_step, 100, 0.96, staircase=True)     #生成学习率

learning_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(....., global_step=global_step)  #使用指数衰减学习率

learning_rate：0.01；staircase=True;则每100轮训练后要乘以0.96.