老卫带你学---RMSProp与Adam

RMSProp算法 RMSProp算法全称root mean square prop算法。 从前面的例子可以知道，当我们利用梯度下降法的时候，虽然横轴也在前进，但纵轴摆动太大。假设纵轴是b横轴是w，假如我们想减弱b的幅度，加快或者不减少w的前进，RMSProp算法就可以起到这个作用。 其执行过程是这样的： 那么该算法是怎么起作用的呢？对于b方向，我们想减少b的摆动。所以对于sdwsdw除数就会较大

>>阅读原文<<