梯度下降法，牛顿法，牛顿高斯法的原理比较

梯度下降法和牛顿法可以用于任何可导函数的优化，都是把要优化的函数做泰勒展开后，找到能让目标函数最小的那个，注意不会目标函数的自变量x。 梯度下降法值保留泰勒展开的一阶项（只有雅克比项），牛顿法保留到二阶项（有海森矩阵项）。 为了求使目标函数最小的，我们对求导，然后试图求得使倒数为0的那个。 对于一阶的梯度下降法，求导后是线性方程，所以没有极小值，所以只用求得的的方向。 对于二阶的牛顿法，求导后是二

>>阅读原文<<