神经网络优化之学习率的设置(tensorflow)

学习率learning_rate:每次参数更新的幅度

这里写图片描述

学习率设置多少合适
学习率大了震荡不收敛,学习率小了收敛速度慢。
可以通过指数衰减学习率解决
这里写图片描述
其中LEARNING_RATE_STEP一般由(总样本数/每次列入的数据个数)得到
在tensorflow中的代码:
global_step = tf.Variable(0,trainable=False)#记录当前共运行了多少轮,由于这个变量只用于计数,并非训练的参数,所以我们标注为不可训练
learning_rate = tf.train.exponential_decay(
LEARNING_RATE_BASE,
global_step,
LEARNING_RATE_STEP,
LEARNING_RATE_DECAY,
staircase=True)#当为True时,学习率阶梯型衰减,当为False时,学习率是一条平滑下降的曲线

猜你喜欢

转载自blog.csdn.net/qq_37566138/article/details/81225093