Gradient descent梯度下降(Steepest descent)

Welcome To My Blog 梯度下降(gradient descent)也叫最速下降(steepest descent),用来求解无约束最优化问题的一种常用方法,结果是局部最优解,对于目标函数为凸的情况,可以得到全局最优解.梯度下降是迭代算法,每一步需要求解目标函数的梯度向量. 采用线搜索的框架 搜索方向取负梯度方向,步长可以通过精确线搜索或非精确线搜索获得 关于步长,之前的文章有提过:

>>阅读原文<<