机器学习中的优化算法总结

1 梯度下降算法理论分析 1.1 相关介绍 1.1.1 批量梯度下降 1.1.2 随机梯度下降 1.1.2 小批量随机梯度下降 1.2 迭代步的推导 2 梯度算法实现 2.1 基本算法 2.1.1 随机梯度下降 2.1.2 动量 2.1.3 Nesterov动量 2.2 自适应学习率算法 2.2.1 AdaGrad 2.2.2 RMSProp 2.2.3 AdaDelta 2.2.4 Adam 2

>>阅读原文<<