无约束优化算法——牛顿法与拟牛顿法（DFP，BFGS，LBFGS）

简介：最近在看逻辑回归算法，在算法构建模型的过程当中须要对参数进行求解，采用的方法有梯度降低法和无约束项优化算法。以前对无约束项优化算法并非很了解，因而在学习逻辑回归以前，先对无约束项优化算法中经典的算法学习了一下。下面将无约束项优化算法的细节进行描述。为了尊重别人的劳动成果，本文的出处是：http://blog.csdn.net/itplus/article/details/21896453

 

、

 

从这里咱们能够看出：要想迭代出Xk+1，就只须要计算Dk+1便可。DFP算法是对Dk+1的一个近似计算的算法。BFGS算法是直接近似计算海森矩阵，用B_k+1表示。