2.6 动量梯度下降法-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授

动量梯度下降法 (Gradient Descent with Momentum) 还有一种算法叫做Momentum，或者叫做动量梯度下降法，运行速度几乎总是快于标准的梯度下降算法，简而言之，基本的想法就是计算梯度的指数加权平均数，并利用该梯度更新你的权重，在本视频中，我们呢要一起拆解单句描述，看看你到底如何计算。 例如，如果你要优化成本函数，函数形状如图，红点代表最小值的位置，假设你从这里（蓝色点

>>阅读原文<<