指数加权平均(EWA)

平时跑模型只知道直接上Adam Optimizer，但具体原理却不甚理解，于是把吴恩达老师的深度学习课翻出来看，记录一下关于动量优化算法的基础-EMA相关内容。 指数加权平均的概念 平时我们计算平均值，就是简单地将所有数据加起来之后与数据总数求商。对于一部分数据来说，这样的平均值以及可以反应数据的趋势，例如某单位的平均年龄，身高等。 但是对于某些数据来说，就不能简单取这样的平均值来观察数据特征了，

>>阅读原文<<