【deeplearning.ai笔记第二课】2.2 优化算法（动量梯度下降，RMSprop，adam）

先上总结： 1. 指数加权平均 是一种 减少数据波动的方法。简单来说就是每个点的值都是前几个点和当前点的加权平均。 公式如下： beta的值越大，数据越平稳。 但是beta的值过大会使数据有一种“滞后”的感觉，如图中的绿线。 1.1 理解 为什么叫“指数”加权平均呢？因为根据公式，我们可以推导出以下的式子： 也就是说，当前点 V100 的值可以由前99个点的加权值得到，而权重是个指数函数。 1.2

>>阅读原文<<