数学基础笔记2微积分

无穷小阶数 牛顿法和梯度下降法 很多机器学习和统计的算法最后都转换成一个优化的问题，也就是求一个损失函数的极小值问题。 牛顿法和梯度下降法都只能求局部极小值，不能求全局最小值 两种方法都必须有一个初始点x0 数学原理：牛顿法使用二阶逼近，梯度下降法使用一阶逼近 牛顿法对局部凸函数找到极小值，对局部凹函数找到极大值，不凸不凹的函数可能找到鞍点 梯度下降法一般不会找到最大值，但同样会找到鞍点 初始值合

>>阅读原文<<