神经网络中的滑动平均模型

在采用随机梯度下降（SGD）算法训练神经网络时，使用滑动平均模型可以一定程度增强参数的稳定性，提高最终模型在测试数据上的表现，使模型在测试数据上更健壮。 在TensorFlow中提供了tf.train.ExponentialMovingAverage(decay, steps)来实现滑动平均模型。ExponentialMovingAverage对每一个变量会维护一个影子变量，并且保存在Expone

>>阅读原文<<