一文搞懂深度学习中经常使用的优化算法

在训练神经网络模型的时候须要使用到优化算法，最终咱们都是经过求解代价函数的最优化问题来求解模型的参数。有的时候，训练一个神经网络模型可能须要几百上千台机器同时训练几个月，经过使用优化算法能够节省训练的时间加快模型的收敛。本篇文章主要介绍一下经常使用的优化算法html 梯度降低算法 指数加权平均算法 动量梯度降低 RMSprop算法 Adam优化算法 经常使用的优化算法在面试的时候也会常常被问到。w

>>阅读原文<<