动量梯度下降法: Gradient Descent With Momentum

动量梯度下降法:  Gradient  Descent With  Momentum 1.指数加权移动平均:   2.指数加权平均的偏差修正: 如图所示:紫色图为这些点集的加权平均,但很显然在刚开始的时候,加权平均不能很好估测数据。所以我们需要通过偏差修正加权平均。 3.动量梯度下降法:    当我们使用梯度下降算法进行训练的时候,我们的训练过程会出现左图所示, 慢慢摆动到最小值,这种上下波动减慢
相关文章
相关标签/搜索