无约束非线性优化经典算法学习笔记

本博客仅为学习笔记。 梯度下降法 有函数 x(θ) ,梯度下降法的迭代公式为: xk+1=xk−agk 其中 gk 为 x(θ) 在x_k点的导数。 牛顿法 当x为标量时 xk+1=xk−x′x′′ 当x为向量时： xk+1=xk−H−1kgk 其中 H−1 为 Hession矩阵的逆函数，g为一阶导数向量。 L-BFS 在牛顿法中，每次都需要求 H−1k , 每次求二阶导数，再求逆矩阵这个计算量

>>阅读原文<<