深度学习入门笔记手稿(十)理解指数加权平均

深度学习入门笔记手稿(十)理解指数加权平均 理解指数加权平均 理解指数加权平均 指数加权平均是深度学习众多优化算法的理论基础,包括Momentum、RMSprop、Adam等,在介绍这些优化算法前,有必要对指数加权平均(exponentially weighted averages)做一个简单的介绍,以期对后续的优化算法的原理有所知晓。
相关文章
相关标签/搜索