机器学习优化算法中梯度降低,牛顿法和拟牛顿法的优缺点详细介绍

一、梯度降低法web 梯度降低法实现简单，当目标函数是凸函数时，梯度降低法的解是全局解。通常状况下，其解不保证是全局最优解，梯度降低法的速度也未必是最快的。算法   梯度降低法的优化思想：用当前位置负梯度方向做为搜索方向，由于该方向为当前位置的最快降低方向，因此也被称为是”最速降低法“。最速降低法越接近目标值，步长越小，前进越慢。app 缺点：机器学习 靠近极小值时收敛速度减慢，求解须要不少次的迭

>>阅读原文<<