机器学习中的最优化方法（一） 无约束优化方法*

机器学习中的最优化方法（一） 无约束优化方法* 掌握常用的优化方法对机器学习算法而言是必不可少的，本文只介绍无约束问题的优化，后续会介绍有约束的情况。 主要介绍以下几个内容： 1 优化概述 2 无约束问题的优化方法 3 梯度下降法 4 牛顿法与拟牛顿法 5 梯度下降法与牛顿法的区别与联系 1.优化概述 设函数f是定义在 R n R^n Rn上的实值函数，最优化问题的数学模型如下 min f(x)

>>阅读原文<<