机器学习优化算法总览

目录 机器学习要求解的数学模型 最优化算法的分类 费马定理 拉格朗日乘数法 KKT条件 数值优化算法 梯度下降法 动量项 AdaGrad算法 RMSProp算法 AdaDelta算法 Adam算法 随机梯度下降法 牛顿法 拟牛顿法 可信域牛顿法 分治法 坐标下降法 SMO算法 分阶段优化 动态规划算法   对于几乎所有机器学习算法，无论是有监督学习、无监督学习，还是强化学习，最后一般都归结为求解最

>>阅读原文<<