深度学习总结二：优化器

深度学习总结二：优化器 梯度降低 momentum Ada RMSProp Adam 对应代码 梯度降低 逻辑回归代码 附梯度降低w变化曲线用于对比 python momentum 动量法，原理在于一个方向的速度能够积累，并且越积累越大；经过不一样训练样本求得梯度时，在最优的方向的梯度，始终都会增大最优方向上的速度。所以，能够减小许多震荡。 对用代码：git self.w_update = sel

>>阅读原文<<