指数加权平均-exponential weighted average

前言 上一篇我们说通过mini batch的方式来为梯度下降算法增速。 这次说一说指数加权平均。 它同样是用来给梯度下降增速的。 在我们的正常的梯度下降中，不论是mini batch还是 full batch，梯度下降的效果大概是下面这个样子的。 梯度下降算法就像是上面这个图一样，像一个碗一样。这是我们优化成本函数J的方式，不停的更新w和b的值。让函数移动到最下面的那个红色的点，也就是全局最优解。

>>阅读原文<<