梯度降低法和牛顿法的总结与比较

机器学习的本质是创建优化模型，经过优化方法，不断迭代参数向量，找到使目标函数最优的参数向量。最终创建模型html 一般用到的优化方法：梯度降低方法、牛顿法、拟牛顿法等。这些优化方法的本质就是在更新参数。机器学习 1、梯度降低法函数 　　0、梯度降低的思想post ·　　　　经过搜索方向和步长来对参数进行更新。其中搜索方向是目标函数在当前位置的负梯度方向。由于这个方向是最快的降低方向。步长肯定了沿着

>>阅读原文<<