momentum梯度下降

正常的梯度下降是： 则梯度下降虽然也是向着最小值（红点）下降，但是按着紫色1号线的轨迹，并且随着迭代次数的增加，a学习率是不断降低的，因此效率并不是很高。 我们希望下降的方向就像红色2号线一样，一路向着最小值快速前进。 这里我们引入加权平均值的概念，比如一系列数N={n1 ,n2, … ,nn} 我们求其加权平均值时： s_0 = 0 s_1 = t * s_0 + (1 - t) * n1 s_

>>阅读原文<<