RMSprop（吴恩达深度学习算法视频）

全称是root mean sqare prop算法。 假设纵轴代表参数b，横轴代表参数w，因此我们需要减缓纵轴的波动，同时加速横轴方向的学习。 在第t次迭代过程中，mini-batch的微分dw、db会正常计算， S_dw = β * S_dw + (1- β)(dw)2 S_db = β * S_db + (1- β)(db)2 更新参数： w = w - α * (dw/sqr(S_dw))

>>阅读原文<<