梯度下降法与牛顿法的比较

两种方法的详细讲解可以参考： 梯度下降算法（Gradient Descent Optimization） 牛顿法（Newton Methods）、阻尼牛顿法和拟牛顿法 相同点 二者都是求解无约束最优化问题的常用方法 不同点 （1）原理方面 梯度下降法的搜索方向是沿着等高线的法向量方向进行搜索，每次迭代优化方向为梯度方向，即当前点所在等高线的法向。但往往等高线很少是正圆形，这种情况下搜索次数会过多。

>>阅读原文<<