优化算法：动量梯度下降+RMSprop+Adam算法+学习率衰减

原作：http://www.cnblogs.com/cloud-ken/p/7728427.html 动量梯度下降法(Momentum) 另一种成本函数优化算法,优化速度一般快于标准的梯度下降算法. 基本思想:计算梯度的指数加权平均数并利用该梯度更新你的权重 假设图中是你的成本函数,你需要优化你的成本函数函数形象如图所示.其中红点所示就是你的最低点.使用常规的梯度下降方法会有摆动这种波动减缓了你训

>>阅读原文<<