一文通透优化算法：从随机梯度、随机梯度降低法到牛顿法、共轭梯度

       一文通透优化算法：从随机梯度、随机梯度降低法到牛顿法、共轭梯度       1 什么是梯度降低法 常常在机器学习中的优化问题中看到一个算法，即梯度降低法，那到底什么是梯度降低法呢？php 维基百科给出的定义是梯度降低法（Gradient descent）是一个一阶最优化算法，一般也称为最速降低法。 要使用梯度降低法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）

>>阅读原文<<