牛顿法、拟牛顿法、hession矩阵

先看hession矩阵： 个人理解：对于x附近很小的区间内，可以用泰勒公式二次展开近似拟合（得到的是二次函数），可以得出这段区间的最小值，在以最小值开始，不断重复直到最后，可能这就是比梯度下降快的原因，梯度下降一步步蹭着走） 牛顿法的优缺点总结： 优点：二阶收敛，收敛速度快； 缺点：牛顿法是一种迭代算法，每一步都需要求解目标函数的Hessian矩阵的逆矩阵，计算比较复杂。 　　 关于牛顿法和梯度下

>>阅读原文<<