深度学习（8）：Momentum RMSprop Adam 学习率衰减

指数加权平均 对于一个序列a[1]，a[2]…a[3] 我们定义一个数组v[], 其中 v[0]=0 v[i]= beta*v[i-1] + (1-beta)*a[i] 这个v就叫做a的指数加权平均值 可以直观的理解为v[i]代表着a[i]之前的1/（1-beta）组数据的平均值，例如beta为0.9时，v[n]近似代表着v[n-9]-v[n]的平均值 然而我们可以发现，由于v[0]=0,导致在计

>>阅读原文<<