RMSprop

RMSprop 翻译成中文是“均方根传递”，它也能加速算法学习的速度。 仍然使用上篇文章中的图： 在此，我们假设 W 为水平方向的参数，b 为竖直方向的参数。从上图可以看出，更新 W 时的步伐过小，而更新 b 的步伐过大，这是 dW 过小和 db 过大造成的，如果我们可以增大 dW 和减小 db，就可以使上图蓝线更快地向右行进，而减少上下振动。下面就来实现这个目的。 回忆一下，在动量梯度下降算法中

>>阅读原文<<