漫步最优化四十三——拟牛顿法

$\textbf{从相距千里，}$
$\textbf{到心与心的碰撞，}$
$\textbf{情感是一种随机，}$
$\textbf{也是一种必然。}$
$\textbf{从一我的到两我的，}$
$\textbf{咱们感觉到了不少，}$
$\textbf{学到了不少，}$
$\textbf{就像一个刚出生的婴儿，}$
$\textbf{将来等着咱们去共同探索。}$
$\quad\textbf{——畅宝宝的傻逼哥哥}$
对于前面文章介绍的多维优化法，咱们都是用共轭方向集合来解决最小值的搜索，这些方法 (像Fletch-Reeves与Powell法)最重要的特征就是不须要 $f(\mathbf{x})$二阶导的显式表达，还有一类不须要二阶导显式表达的方法：拟牛顿法，有时候称为变尺度法。

人如其名，这类方法的基础就是以前介绍的牛顿法，拟牛顿法的基本原则是搜索的方向基于$n\times n$的方向矩阵$\mathbf{S}$，功能就像牛顿法中的逆矩阵。这个矩阵从可获得的数据中产生，做为$\mathbf{H}^{-1}$的近似，更进一步，随着迭代数的增加，$\mathbf{S}$会满满变成$\mathbf{H}^{-1}$的精确表示，对于凸二次目标函数，在$n+1$次迭代时等于$\mathbf{H}^{-1}$。

拟牛顿法与其余方法同样，也是来于凸二次问题，而后扩展到通常的状况，由于拟牛顿法是目前方法中最有效的，因此在数值应用上使用最普遍。

最近几年已经发展出了许多不一样的拟牛顿法，接下里介绍四种最重要的拟牛顿法：

• Rank-one法
• Davidon-Fletcher-Powell法
• Broyden-Fletcher-Goldfarb-Shanno法
• Fletcher法

而后还会讨论几个可替换的方法以及两个有趣的推广，其中一个由Broyden发明，另外一个由Huang发明。