牛顿法，梯度下降法，拟牛顿法

牛顿法，梯度下降法，拟牛顿法。 梯度下降法的推倒（https://blog.csdn.net/pengchengliu/article/details/80932232） 顺带提一嘴，最小二乘法其实也就是MSE。 牛顿法其实就是对函数进行二阶泰勒展开求极值的问题，最后得到的是递推关系x与函数一阶导和二阶导的关系。 其中H代表黑塞矩阵，也就是函数的二阶偏导数矩阵，g代表函数的一阶导数矩阵。下面是具体

>>阅读原文<<