李宏毅机器学习2020笔记（四）梯度下降 Adagrad 特征缩放（Feature scaling）

一、Learning rate 1.Learning rate中的问题 如果learning rate刚刚好，就可以像下图中红色线段一样顺利地到达到loss的最小值 如果learning rate太小的话，像下图中的蓝色线段，虽然最后能够走到local minimal的地方，但是它可能会走得非常慢，以至于你无法接受 如果learning rate太大，像下图中的绿色线段，它的步伐太大了，它永远没有

>>阅读原文<<