最优化算法简单对比 梯度下降 牛顿迭代 坐标下降

梯度下降法、牛顿迭代法和坐标下降法        最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。大部分的机器学习算法的本质都是建立优化模型，通过最优化方法对目标函数（或损失函数）进行优化，从而训练出最好的模型。常见的最优化方法有梯度下降法、牛顿法和拟牛顿法、坐标下降法等等。 梯度下降法 梯度下降法是迭代法的一种,可以用于求

>>阅读原文<<