深度学习/机器学习入门基础数学知识整理（四）：拟牛顿法、BFGS、L_BFDS、DFP、共轭梯度法

拟牛顿法 拟牛顿法可以克服牛顿法计算量大的缺点，不在计算目标函数的 Hesse 矩阵，而是构造一个近似 Hesse 矩阵的对称正定矩阵，根据近似矩阵来优化目标函数，不同的近似构造 Hesse 的方法决定了不同的拟牛顿法，构造 Hesse 矩阵是需要满足拟牛顿条件的，拟牛顿条件是这样求得的，首先将 f(x) 在 xk+1 x k + 1 处做二阶泰勒展开(忽略高阶项)： f(x)=f(xk+1)+∇

>>阅读原文<<