参数优化方法(梯度下降、牛顿法、拟牛顿法)

1 分类 梯度法，共轭梯度法，牛顿法，拟牛顿法，蒙特卡洛法、Steepest Descent（SD）、L-BFGS等参数优化方法。 参数优化目标 在机器学习中，在定义好损失函数好，希望通过参数优化，使得损失函数最小。 2 梯度下降法（最速下降法） 沿着梯度向量的方向，更加容易找到函数的最大值。反过来说，沿着梯度向量相反的方向（去负号），则就是更加容易找到函数的最小值。 批量梯度下降法（Batch

>>阅读原文<<