深度学习中的动量

动量的优点 虽然随机梯度下降仍然是非常受欢迎的优化方法，但其学习过程有时会很慢。动量方法 (Polyak, 1964) 旨在加速学习，特别是处理高曲率、小但一致的梯度，或是带噪声的梯度。 动量算法积累了之前梯度指数级衰减的移动平均，并且继续沿该方向移动。 动量的效果如下图所示。 动量的主要目的是解决两个问题： Hessian 矩阵的病态条件和随机梯度的方差。我们通过此图说明动量如何克服这两个问题的

>>阅读原文<<