梯度下降法，最速下降法，牛顿法，Levenberg-Marquardt 修正，共轭方向法，共轭梯度法

优化对象：凸函数 梯度下降法 顾名思义，就是沿着与梯度相反的方向迭代。（梯度方向是增长最快的方向，所以负梯度方向是下降最快的方向）。 最速下降法 最速下降法是梯度方向法的一种，与上面的梯度下降法不同的是：梯度下降法是固定的学习率，最速下降法是变化的学习率（具体见下面的介绍）。 特点：每一次迭代时的梯度方向与上一次迭代时的梯度方向正交 牛顿法 在某一个特定点处将函数泰勒展开（仅保留至二次项），用泰勒

>>阅读原文<<