【深度学习】各种梯度下降优化方法总结

斯坦福CS231 Lecture7 梯度下降优化算法综述 一文看懂各种神经网络优化算法：从梯度下降到Adam方法 梯度下降法是最小化目标函数J(θ)J(θ)的一种方法，其中，θ∈Rdθ∈Rd为模型参数，梯度下降法利用目标函数关于参数的梯度∇θJ(θ)∇θJ(θ)的反方向更新参数。学习率ηη决定达到最小值或者局部最小值过程中所采用的步长的大小。即，我们沿着目标函数的斜面下降的方向，直到到达谷底。 B

>>阅读原文<<