有关梯度优化方法学习总结

背景 在机器学习领域，待解决的问题往往抽象建模成代价函数（cost function）， 求解代价函数的最优解便是我们解决这个问题的目标。代价函数的求解便是优化过程，我们需要找到该函数的极小值，最好是最小值，但是最小值通常难以求解。极小值能够使我们的代价函数取值相对小，因而我们可以减少训练集中的损失（loss）。此时，模型便是能够反映整个数据集合的构成的。当然，这里先不考虑过拟合（overfitt

>>阅读原文<<