吴立德《数值优化》（Numerical Optimization）视频学习笔记（三）

三．线搜索方法 1.方法概述 选一个方向，然后确定一个步长。方向以梯度方向作为标准来衡量。 （1）最速下降方向（负梯度方向）。 （2）牛顿方向（标准二次函数可以一次到位）。 （3）拟牛顿方向（怎么选择Bk，方法比较多）。 （4）共轭梯度方向。 （5）下降方向：选定下降方向后，只与步长有关，变成一个一元函数，此函数在零点的导数一定是小于0的，这样才是一个下降的方向（也就是看一开始的瞬间是不是下降的）

>>阅读原文<<