数值优化（Numerical Optimization）学习系列-拟牛顿方法（Quasi-Newton）

概述 拟牛顿方法相似于最速降低法，在每一步迭代过程当中仅仅利用梯度信息，可是经过度量梯度之间的变化，可以产生超线性的收敛效果。本节主要学习一下知识点： 1. 拟牛顿方程推导 2. 几个常见的拟牛顿方法 3. 拟牛顿方法的收敛性web 拟牛顿方程 拟牛顿方法既有线搜索的影子也有牛顿方法的思想，下面从两个角度分别介绍拟牛顿方程，即在拟牛顿方法中要遵循的一个原则。算法 线搜索角度 假设在第K步迭代过程当

>>阅读原文<<