重新理解梯度下降法（Gradient Descent）及其相关优化方法

梯度下降法广泛的应用在无约束优化问题的求解中，比如线性回归、神经网络等等。之前在学习Stanford机器学习-Linear Regressioon with One Variable（3）时对于梯度下降有了初步的理解，但是对于梯度下降法的多种类型，以及背后的数学原理理解的并不是很清楚，希望通过这个专项的学习，对于梯度下降法可以有一个深入的学习。 所需的数学知识 对于其中涉及的导数、偏导数、梯度等基

>>阅读原文<<