梯度下降如何设置学习率

在梯度下降中，学习率太小可能造成收敛过慢，学习率太大可能造成结果在收敛值两边震荡，如图，红色箭头是学习率太小，绿色箭头是学习率太大： 将在不同学习率下，loss值随训练代数的变化可视化如下： 那么，如何设置学习率learning rate: idea 1： 使learning rate随训练次数增大而减小。因为初始时，我们离目标较远，随训练次数增大，离目标越来越近，就可以使步长减小。 例如：η表示

>>阅读原文<<