无约束最优化方法

梯度下降法 牛顿法 牛顿法要求函数具有二阶连续偏导数，利用了函数在极小值点处一阶偏导数为0的必要条件进行优化。 拟牛顿法 基本思想 在牛顿迭代法中，需要计算Hessian矩阵的的逆矩阵 H−1 ，这一计算比较复杂，考虑用一个n阶矩阵 Gk=G(x(k)) 来近似代替 H−1k=H−1(x(k)) 。 BFGS Broyden类算法 参考资料 《统计学习方法》 附录

>>阅读原文<<