深度学习-带动量的随机梯度下降算法

1.指数加权平均 类比n个数求平均： 如果  表示前  个数的平均， 表示第  个数，那么  个数的指数加权平均定义为：                                                其展开为：                                                                                      

>>阅读原文<<