在训练的过程中降低学习率

随着学习的进行，深度学习的学习速率逐步下降  为什么比  固定的学习速率 得到的结果更加准确？ 如上图所示，曲线代表损失值，小球一开始位于(1)处，假设学习速率设置为 △ v，那么根据梯度下降，损失值将在(1)  (2)之间来回移动，无法到达最小值(3)处。要想到达(3)，只能降低学习速率。 keras中实现方法： learning_rate_reduction = ReduceLROnPlate

>>阅读原文<<