momentum梯度下降法

指数加权平均 假设有多个时间点对应的值 θ t \theta_t θt​，那么我可以得出一个指数加权平均值 V t V_t Vt​： { V t = 0 t = 0 V t = β V t − 1 + ( 1 − β ) θ t t > 0 \begin{cases} V_t=0&t=0\\ V_t=\beta V_{t-1}+(1-\beta)\theta_t&t>0 \end{cases} {

>>阅读原文<<