[最优化]牛顿法和拟牛顿法

针对 无约束优化问题：min f(x)  （f(x)二阶可导） 牛顿法：对原函数进行二阶泰勒展开 ，在对展开式求一阶梯度▽f(x)，并令▽f(x)=0，得 令x=xk 获得迭代公式，每次迭代可求得较小的值的x 拟牛顿法：因为 海森矩阵求逆比较复杂，使用符合▽f(x)=0条件的矩阵代替     当前处理大规模数据 最常用的是L-BFGS 可以缓解内存压力

>>阅读原文<<