神经网络优化算法及代码实现——从SGD、Momentum、AdaGrad、RMSProp到Adam

Z 梯度降低（Gradient Descent ） 带动量的梯度降低（Gradient Descent + Momentum） Nesterov Momentum AdaGrad RMSProp Adam 梯度降低（Gradient Descent ） x : = x − α ⋅ d x x := x-\alpha \cdot {\rm{d}}x x:=x−α⋅dx 其中 α \alpha α为学

>>阅读原文<<