梯度下降法与牛顿下降法推导

梯度下降法 直观理解 当ω在曲线右半部分，导数>0，ω更新后会变小，向中间靠拢。反之，当ω在曲线左半部分，导数<0，ω更新后会变小，也向中间靠拢。 推导 方法1 泰勒展开，δ是变化量。当δ的方向与相同，最大，因此梯度方向是上升最快的。反之，沿着梯度的负方向下降最快。 方法2 同济高数书第六版P102、P104 牛顿下降法 目的是使得。 三阶泰勒展开： 求导： 化简：

>>阅读原文<<