优化算法

常用的优化方法有梯度下降法，牛顿法，共轭梯度法，启法式和拉格朗日乘数法。 梯度下降法，最速下降法，越接近目标值，步长越小，前进越慢。可能会出现之字形下降。 BGD和SGD 牛顿法，二阶收敛。使用一阶导数做拟合，在拟合函数上求最优，得到二阶最优。 必须是二阶可导的。收敛比梯度下降要快。而且要计算Hessian阵。 共轭梯度法 共轭方向可以说是正交的 从任意初始点出发，依次沿nn个G的共轭方向d1,d

>>阅读原文<<