1.一个小哥说用batch norm要非常耐心的等待他warm up,这才想到moving average的计算方式是以一个参数renorm_decay来 计算滑动平均的，这个值的默认值是0.99，如果训练的轮次太少，moving_average还保持在一个和初始值很接近的值，远远没有收敛，导致预测时结果错误
2.我在模型中用到了slim的batchnorm。大家都知道batch_norm有两个重要的值，一个是mean,一个是variance。这两个值在训练时，是这个batch的输出的均值和方差；在测试时是整个训练过程中每个batch的mean和variance的moving average。
参考网址：