《最优化导论》-11拟牛顿法

1.基本思想 1.1基本缺陷 需要计算黑塞矩阵，需要求矩阵的逆运算 1.2拟牛顿法思想 构造黑塞矩阵的逆的近似： 拟牛顿法中，如果找到合适的近似构造矩阵Hk，在迭代中就不需要任何黑塞矩阵，及线性方程逆运算的计算工作了。 1.3构造黑塞矩阵逆矩阵的近似 其中，在二次型函数中，ak都可以用公式直接求最佳步长。 1）秩1算法 例： 2）秩2算法/DFP算法 3）BFGS算法

>>阅读原文<<