TensorFlow笔记-07-神经网络优化-学习率,滑动平均

TensorFlow笔记-07-神经网络优化-学习率,滑动平均 学习率 学习率 learning_rate: 表示了每次参数更新的幅度大小。学习率过大，会致使待优化的参数在最小值附近波动，不收敛；学习率太小，会致使待优化的参数收敛缓慢 在训练过程当中，参数的更新向着损失函数梯度降低的方向 参数的更新公式为： wn+1 = wn - learning_rate▽ 假设损失函数 loss = (w +

>>阅读原文<<