梯度下降法与实现（牛顿法比较）

目录 一、梯度下降算法 1.梯度下降的相关概念 2.梯度下降的数学原理 （1）对数损失函数 （2）数学推导过程 （3）梯度下降算法实例 （3-1）单变量函数的梯度下降 （3-2）多变量函数的梯度下降 二、牛顿法 三、梯度下降算法与牛顿法对比 梯度算法适用于求极值的问题，极值包括（极大值、极小值），所以一般求极大值使用梯度上升法，求极小值采用梯度下降算法。 梯度下降法每次学习不断更新权值，最后收敛于

>>阅读原文<<