RMSProp优化算法

RMSProp优化算法 参考：【优化算法】一文搞懂RMSProp优化算法 而本文要介绍的RMSProp优化算法是AdaGrad算法的一种改进。 首先给出AdaGrad算法： 再抛出原始的RMSProp算法: 可以看出RMSProp优化算法和AdaGrad算法唯一的不同，就在于累积平方梯度的求法不同。RMSProp算法不是像AdaGrad算法那样暴力直接的累加平方梯度，而是加了一个衰减系数来控制历史

>>阅读原文<<