梯度下降中的线性搜索-Line search

       在普通的梯度下降过程中通常使用这个公式来更新参数， ,而学习率的选择就显得非常的重要了，如上图所示，学习率选择过小，就会导致左图的情况，学习率过小在到达碗底平缓地区，导数值也非常小，从而导致损失函数移动的速度非常的慢，使得很难尽快的收敛，如果学习率设置过大，导致损失值来回震荡，很难取到最优值。 接下来，我们讲解一下，一个可以合理选择步长的方法 -Line Search,这种方法能够保

>>阅读原文<<