梯度降低学习率的设定策略

发现一篇写的很好的关于学习率的文章 本文转载自卢明冬的博客-梯度降低学习率的设定策略html 1.学习率的重要性 1）学习率设置过小，须要花费过多的时间来收敛 2）学习率设置较大，在最小值附近震荡却没法收敛到最小值 3）进入局部极值点就收敛，没有真正找到的最优解 4）停在鞍点处，不可以在另外一维度继续降低 梯度降低算法有两个重要的控制因子：一个是步长，由学习率控制；一个是方向，由梯度指定。web

>>阅读原文<<