深度学习中的动量

动量的优势 虽然随机梯度降低仍然是很是受欢迎的优化方法，但其学习过程有时会很慢。动量方法 (Polyak, 1964) 旨在加速学习，特别是处理高曲率、小但一致的梯度，或是带噪声的梯度。 动量算法积累了以前梯度指数级衰减的移动平均，而且继续沿该方向移动。 动量的效果以下图所示。 web 动量的主要目的是解决两个问题： Hessian 矩阵的病态条件和随机梯度的方差。咱们经过此图说明动量如何克服这两

>>阅读原文<<