深度学习: 指数加权平均

1. 指数加权平均       指数加权平均是深度学习众多优化算法的理论基础,包括Momentum、RMSprop、Adam等,在介绍这些优化算法前,有必要对指数加权平均(exponentially weighted averages)做一个简单的介绍,以期对后续的优化算法的原理有所知晓。        何为指数加权平均那?         现在想求一段时间内的平均温度,给定一段时间的温度序列 ,
相关文章
相关标签/搜索