机器学习总结（四）——最优化方法

机器学习中所谓的训练其实就是损失函数的优化过程，求损失函数的最优化解，主要是得靠一些常规套路，去一点一点地接近最优化目标。 常用的有梯度下降法、牛顿法和拟牛顿法、共轭梯度法、启发式优化方法、拉格朗日乘数法等。 一、梯度下降法（Gradient Descent）        梯度下降法实现的原理简单，是最常用最简单的最优化方法。当目标函数是凸函数时（如线性规划），得到的是全局最优解。但是在一般情况

>>阅读原文<<