TensorFlow实战系列8--滑动平均模型

 在采用随机梯度下降算法训练神经网络时，使用滑动平均模型在很多应用中都可以在一定程度提高最终模型在测试数据上的表现。滑动平均模型可以有效的减小训练数据中的噪音对模型带来的影响。在TensorFlow中提tf.train.ExponentialMovingAverage 来实现滑动平均模型。在初始化ExponentialMovingAverage 时，需要提供一个衰减率（decay）。这个衰减率将用于控制模型更新的速度。ExponentialMovingAverage 对每一个变量会维护一个影子变量（shadow variable），这个影子变量的初始值就是相应变量的初始值，而每次运行变量更新时，影子变量的值会更新为：

shadow_variable = decay × shadow_variable + (1 - decay)× variable

 其中shadow_variable 为影子变量，variable 为待更新的变量，decay为衰减率。从公式中可以看到，decay 决定了模型更新的速度，decay 越大模型越趋于稳定。在实际应用中，decay 一般会设成非常接近1 的数（比如0.999 或0.9999）。为了使得模型在训练前期可以更新得更快，ExponentialMovingAverage 还提供了num_updates 参数来动态设置decay的大小。如果在ExponentialMovingAverage 初始化时提供了num_updates参数，那么每次使用的衰减率将是：

 下面通过一段代码来解释ExponentialMovingAverage 是如何被使用的。

import tensorflow as tf
v1 = tf.Variable(0.0, dtype=tf.float32)
step = tf.Variable(0, trainable=False)
# 定义一个滑动平均的类（class）。初始化时给定了衰减率（0.99）和控制衰减率的变量step。
ema = tf.train.ExponentialMovingAverage(0.99, step)
# 定义一个更新变量滑动平均的操作。这里需要给定一个列表，每次执行这个操作时
# 这个列表中的变量都会被更新。
maintain_averages_op = ema.apply([v1])
with tf.Session() as sess:
init_op = tf.initialize_all_variables()
sess.run(init_op)
# 更新变量v1的值到5。
sess.run(tf.assign(v1, 5))
# 更新v1的滑动平均值。衰减率为min{0.99,(1+step)/(10+step)= 0.1}=0.1,
# 所以v1的滑动平均会被更新为0.10+0.95=4.5。
sess.run(maintain_averages_op)
print sess.run([v1, ema.average(v1)]) # 输出[5.0, 4.5]
# 更新step的值为10000。
sess.run(tf.assign(step, 10000))
# 更新v1的值为10。
sess.run(tf.assign(v1, 10))
# 更新v1的滑动平均值。衰减率为min{0.99,(1+step)/(10+step) 0.999}=0.99,
# 所以v1的滑动平均会被更新为0.994.5+0.0110=4.555。
sess.run(maintain_averages_op)
print sess.run([v1, ema.average(v1)]) # 输出[10.0, 4.5549998]