什么是梯度下降法？

张戎 ​ 数学 话题的优秀回答者 564 人赞同了该回答 梯度下降法简单来说就是一种寻找目标函数最小化的方法。 张戎：深度学习中的优化算法 在深度学习中，经常有人会拿下面这幅图来比较各种优化算法的性质，包括传统的 SGD，Momentum SGD，AdaGrad，RMSProp 和 Adam 等。不过光看图可能无法理解其中的精妙之处，本文将会从数学的基础知识出发，初步介绍深度学习中的一些优化算法，

>>阅读原文<<