《最优化导论》-9牛顿法

牛顿法用到了目标函数的1、2阶导数，可能会更高效。 1.思想：构造目标函数的近似函数： 1.2泰勒展开到二阶，可以得到函数f(x)的近似函数： 1.3对近似函数q(x)求极小值，得到迭代形式： 1.4流程： 2.二次型中牛顿法 二次型中，牛顿法只需一次迭代即可从任意初始点x(0)收敛到f的极小的x*,满足在x*的梯度=0。 问题，有时候随机初始点离极小/大点较远时，并不一定收敛，有时候黑塞矩阵为奇

>>阅读原文<<