【深度学习】深度学习优化算法总结

在开玩笑的时候，咱们自称研究深度学习的人为炼丹师。所谓炼丹，就是拿到同一种丹药的配方，可能炼出来的丹药的效果也是不同的。深度学习也是如此，同一种模型，采起不一样的优化策略，所获得的结果每每不一样。在探究深度学习算法的优化策略过程当中，人们大概经历过如下几个阶段： SGD-> Momentum -> Nesterov -> Adagrad -> RMSProp -> Adam ->Nadam。web

>>阅读原文<<