tensorflow之学习率

学习率 learning_rate： 表示了每次参数更新的幅度大小。 学习率过大， 会导致待优化的参数在最小值附近波动，不收敛；学习率过小， 会导致待优化的参数收敛缓慢。 在训练过程中， 参数的更新向着损失函数梯度下降的方向。 参数的更新公式为： 下一时刻的参数=上一时刻的参数-学习率*（损失函数对这个参数的导数） 由图可知，损失函数 loss 的最小值会在(-1,0)处得到，此时损失函数的导数为

>>阅读原文<<