Tensorflow指数衰减方法设置梯度下降算法的学习率

      通过指数衰减的学习率可以让模型在训练的前期快速接近较优解，又可以保证模型在训练后期不会有太大的波动，从而接近局部最优解。Tensorflow调用tf.train.exponential_decay函数实现指数衰减学习率。

global_step = tf.Variable(0)
#通过exponential_decay函数生成学习率
learning_rate = tf.train.exponential_decay(0.1, global_step, 100, 0.96, staircase = True)
#使用指数衰减的学习率。在minimize传入global_step将自动更新global_step参数，从而使学习率得到相应的更新
learning_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(your loss,global_step= global_step)

设置了初始学习率为0.1，将stairvase = True,学习率成为一个阶梯函数，每训练100轮后学习率乘以0.96。