降低学习率的函数

版权声明：本文为博主原创文章，转载请注明出处： https://blog.csdn.net/Hubz131/article/details/80542632

指数衰减

tf.train.exponential_decay(
			learning_rate,  
			global_step,
			decay_steps,
			decay_rate,
			staircase=False,
			name=None 
		)

将指数衰减应用于学习速率。

在训练模型时，经常建议在训练过程中降低学习速度。 该函数将指数衰减函数应用于提供的初始学习速率。 它需要一个global_step值来计算衰减的学习速率。 你可以传递一个TensorFlow变量，在每个训练步骤中增加。

该函数返回衰减的学习速率。它计算为：

decayed_learning_rate = learning_rate / (1 + decay_rate * global_step / decay_step)

或者，如果staircase is True, as:

decayed_learning_rate = learning_rate / (1 + decay_rate * floor (global_step /decay_step))

示例：每100000步衰变一次，基值为0.96：

...
global_step = tf.Variable(0, trainable=False)
starter_learning_rate = 0.1
learning_rate = tf.train.exponential_decay(starter_learning_rate, global_step,
                                           100000, 0.96, staircase=True)
# Passing global_step to minimize() will increment it at each step.
learning_step = (
    tf.train.GradientDescentOptimizer(learning_rate)
    .minimize(...my loss..., global_step=global_step))

args：

• learning_rate：标量float32或float64的Tensor或者是Python数字。初始学习率。
•  global_step：一个python数字，全局step数,代表当前衰减的步数 
• decay_steps：标量int32或int64 Tensor或者是Python的数字。必须是正的。参见上面的衰变计算，学习率衰减的步数,也代表学习率每次更新相隔的步数 。
• decay_rate：标量float32或float64 Tensor或者是Python数，衰减率。
• staircase：是否阶梯性更新学习率,即学习率是取float还是int 
•  name：字符串。操作的可选名称。默认为”ExponentialDecay”。

返回：
与 learning_rate类型相同的标量Tensor。衰退后的学习率。
提升：
ValueError：if global_step is not supplied。

 翻译自：Tensorflow

tf.train.inverse_time_decay

tf.train.inverse_time_decay(
    learning_rate,
    global_step,
    decay_steps,
    decay_rate,
    staircase=False,
    name=None
)

将反时限衰减应用到初始学习率。

在训练模型时，经常建议在训练过程中降低学习速度。 该函数将指数衰减函数应用于提供的初始学习速率。 它需要一个global_step值来计算衰减的学习速率。 你可以传递一个TensorFlow变量，在每个训练步骤中增加。

该函数返回衰退的学习速率。 它被计算为：

decayed_learning_rate = learning_rate / (1 + decay_rate * global_step / decay_step)

或者，如果staircase is True, as:

decayed_learning_rate = learning_rate / (1 + decay_rate * floor(global_step /
decay_step))

示例：decay 1/t with a rate of 0.5：

...
global_step = tf.Variable(0, trainable=False)
learning_rate = 0.1
decay_steps = 1.0
decay_rate = 0.5
learning_rate = tf.train.inverse_time_decay(learning_rate, global_step,
decay_steps, decay_rate)


# Passing global_step to minimize() will increment it at each step.
learning_step = (
    tf.train.GradientDescentOptimizer(learning_rate)
    .minimize(...my loss..., global_step=global_step)
)

Args:

• learning_rate：标量float32或float64Tensor或Python数字;最初的学习率。
• global_step：一个Python数字;用于衰减计算的全局step。 
• decay_steps：应用衰减的频率;必须是正的。学习率衰减的步数,也代表学习率每次更新相隔的步数 。
• decay_rate：一个Python数字;衰减率。
• staircase：是否应用分离式楼梯衰减，即学习率是取float还是int 。
• name：（String）操作的名称; 默认为'InverseTimeDecay'。

翻译自：Tensorflow