机器学习中常用的优化方法

写在前面 在看斯坦福的次cs231n课程，里面提到一些机器学习的基础知识，比如损失函数，优化算法，正则化形式等等。然后有一些知识也都记不起来了，索性就在博客上再回顾一遍顺便记录下来日后方便查阅。今天就先整理机器学习算法中常用的几种优化损失函数的优化方法，主要有： 梯度下降法、 牛顿法和拟牛顿法、 共轭梯度法、 启发式优化方法以及解决约束优化问题的拉格朗日乘数法。 1. 梯度下降法（Gradient

>>阅读原文<<