一文详解梯度下降法,牛顿法,拟牛顿法

最优化是一种数学方法,它是研究在给定约束之下如何寻求某些因素,以使某一些指标达到最优的一些学科的总称.在机器学习中,大部分的机器学习算法的本质都是建立优化模型,通过最优化方法对目标函数(损失函数)进行优化,从而训练出最好的模型.梯度下降法,牛顿法和拟牛顿法是求解无约束最优化问题的常用方法. 梯度下降法 梯度下降法实现简单,当目标函数为凸函数时,梯度下降法的解是全局最优解. 梯度 梯度的定义: 函数

>>阅读原文<<