机器学习优化方法：Momentum动量梯度下降

训练机器学习模型时我们常常遇到不能训练出最优值的情况，这往往是因为局部极值和鞍点阻碍了我们的训练。而病态曲率会减慢我们的训练，严重的可以使我们的训练无法得到最优值。 下图展示了病态曲率（图片来自阿里云栖社区） 考虑以下损失曲线图。 如你所知，我们在进入一个以蓝色为标志的像沟一样的区域之前是随机的。这些颜色实际上代表了在特定点上的损失函数的值，红色代表最高的值，蓝色代表最低的值。 我们想要下降到最低

>>阅读原文<<