tensorflow中学习率、过拟合、滑动平均的学习

1. 学习率的设置 咱们知道在参数的学习主要是经过反向传播和梯度降低，而其中梯度降低的学习率设置方法是指数衰减。 经过指数衰减的学习率既可让模型在训练的前期快速接近较优解，又能够保证模型在训练后期不会有太大的波动，从而更加接近局部的最优解。 在tensorflow中提供了一个灵活的学习率设置方法，tf.train.exponential_decay函数实现了指数衰减，其实现的原理以下：python

>>阅读原文<<