深度学习的优化算法总结

深度学习优化算法总结 1、SGD 2、SGD with Momentum 3、SGD with Nesterov Acceleration 4、AdaGrad 5、AdaDelta / RMSProp 6、Adam 7、Nadam 在深度学习领域，优化算法的选择是重中之重。梯度下降算法是目前神经网络中使用最广泛的优化算法之一。为了弥补朴素梯度下降的缺陷，又出现了SGD、SGD with Momen

>>阅读原文<<