TensorFlow基础篇(一)——tf.train.exponential_decay()

tf.train.exponential_decay实现指数衰减率。通过这个函数,可以先使用较大的学习率来快速得到一个比较优的解,然后随着迭代的继续逐步减小学习率,使得模型在训练后期更加稳定。


tf.train.exponential_decay

tf.train.exponential_decay(learning_rate, global_, decay_steps, decay_rate, staircase=True/False)

参数说明:

  • learning_rate:初始学习率
  • global_step:当前迭代次数
  • decay_steps:衰减速度
  • decay_rate:衰减系数,通常介于0-1之间。
  • staircase=False:衰减方式,(默认值为False,当为True时,(global_step/decay_steps)则被转化为整数) 式。
发布了352 篇原创文章 · 获赞 115 · 访问量 13万+

猜你喜欢

转载自blog.csdn.net/Aidam_Bo/article/details/103189640
今日推荐