深度学习优化算法基础

机器学习往往伴随着大量迭代过程，需要训练诸多模型，才能找到合适的那一个，优化算法能够帮我们快速训练模型。 文章目录 1. Mini-batch梯度下降 2. 理解mini-batch梯度下降算法 3. 指数加权平均数 4. 理解指数加权平均数 5.指数加权平均的偏差修正 6. 动量梯度下降法 7. RMSprop 8. Adam优化算法 9. 学习率衰减 10. 局部最优的问题 1. Mini-b

>>阅读原文<<