关于最优化中的若干问题

    1.最速降低法（也叫梯度降低法）

　　负梯度方向、一维搜索步长、上一次的搜索方向和下一次的方向是正交的，因此会产生锯齿现像，所以影响了收敛的速度，特别是当x接近于收敛点的时候。

    2.牛顿法

　　采用Hesse矩阵和梯度来迭代x，从而产生一系列x点。要求Hesse矩阵非奇异并且正定，若是不是，则没法保证目标函数值降低和收敛到极小点。若是收敛则为2级收敛，收敛速度较快。

    3.阻尼牛顿法

　　阻尼牛顿法，加入一维搜索步长，经过最小化函数值，可以使得迭代目标函数通常有所降低。

    4.拟牛顿法

     上面的方法没法保证Hesse矩阵正定，所以拟牛顿法，经过构造Gk正定矩阵，保证Hesse矩阵正定，再做一维搜索，所以必定能够保证函数值降低和收敛。