性能优化 牛顿法理论推导

关于牛顿法中公式的来源： 参考：牛顿法原理推导 牛顿法一步到位的解释： 目标均为使代价函数最小化 梯度下降的思路：找到代价函数负梯度，走一小步。步子不能太大，否则前面梯度转向就不好了，毕竟又没有算二阶导，这函数的梯度那，就是无法预料。 牛顿法的思路：最小化代价函数，就是求f'(x)=0时的x，每一步都努力让f'(x)=0就好了。怎样做到呢？求出f'(x)的变化方向，即f''(x)，让接下来走的一步

>>阅读原文<<