机器学习案例系列教程——优化方法总结（梯度降低法、牛顿法、拟牛顿法、共轭梯度法等）

梯度降低法 梯度降低法是最先最简单，也是最为经常使用的最优化方法。梯度降低法实现简单，当目标函数是凸函数时，梯度降低法的解是全局解。通常状况下，其解不保证是全局最优解，梯度降低法的速度也未必是最快的。梯度降低法的优化思想是用当前位置负梯度方向做为搜索方向，由于该方向为当前位置的最快降低方向，因此也被称为是”最速降低法“。最速降低法越接近目标值，步长越小，前进越慢。梯度降低法的搜索迭代示意图以下图所

>>阅读原文<<