最优化算法(三)

牛顿方法 牛顿方法是现在用的比较广泛的最优化算法之一，其特点是收敛速度较快，上一节的梯度下降和随机梯度下降都是一阶收敛，而牛顿方法是二阶收敛。 回忆高等数学里面介绍的二阶泰勒展开有 Q(x)=f(x0)+∇f(x0)(x−x0)+(x−x0)22!∇2f(x0) 而 Q(x) 取到极值的条件，也就是最优化条件是 ∇Q(x)=0 ，可得 ∇f(xk)+∇2f(xk)(x−xk)=0 xk+1=xk−

>>阅读原文<<