tensorflow中经常使用学习率更新策略

神经网络训练过程当中，根据每batch训练数据前向传播的结果，计算损失函数，再由损失函数根据梯度降低法更新每个网络参数，在参数更新过程当中使用到一个学习率（learning rate），用来定义每次参数更新的幅度。python 太小的学习率会下降网络优化的速度，增长训练时间，过大的学习率可能致使网络参数在最终的极优值两侧来回摆动，致使网络不能收敛。实践中证实有效的方法是设置一个根据迭代次数衰减的学

>>阅读原文<<