最优化方法

梯度下降法 SGD BGD 牛顿法 基本牛顿法 全局牛顿法 拟牛顿法 DFP BFGS L-BFGS 共轭梯度 启发式 *解决约束优化问题：拉格朗日乘数法 1. 梯度下降法 过程 梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现已不具有实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为搜索方向的。

>>阅读原文<<