TensorFlow笔记之神经网络优化——学习率

学习率：表示了每次更新参数的幅度大小。学习率过大，会致使待优化的参数在最小值附近波动，不收敛；学习率太小，会致使待优化的参数收敛缓慢。        在训练过程当中，参数的更新相纸损失函数梯度降低的方向。参数的更新公式为：        假设损失函数为 loss = (w + 1)2。梯度是损失函数 loss 的导数为 ∇=2w+2。如参数初值为 5，学习率为 0.2，则参数和损失函数更新以下：

>>阅读原文<<