机器学习优化过程中的各种梯度下降方法（SGD，AdaGrad，RMSprop，AdaDelta，Adam，Momentum，Nesterov）

机器学习优化过程中的各种梯度下降方法（SGD，AdaGrad，RMSprop，AdaDelta，Adam，Momentum，Nesterov） 实际上，优化算法可以分成一阶优化和二阶优化算法，其中一阶优化就是指的梯度算法及其变种，而二阶优化一般是用二阶导数（Hessian 矩阵）来计算，如牛顿法，由于需要计算Hessian阵和其逆矩阵，计算量较大，因此没有流行开来。这里主要总结一阶优化的各种梯度下

>>阅读原文<<