深度学习_深度学习基础知识_Adam优化器详解

Adam介绍 Adam优化器结合了AdaGrad和RMSProp两种优化算法的优点。对梯度的一阶矩估计（First Moment Estimation，即梯度的均值）和二阶矩估计（Second Moment Estimation，即梯度的未中心化的方差）进行综合考虑，计算出更新步长。 Adam的优势 实现简单，计算高效，对内存需求少。 参数的更新不受梯度的伸缩变换影响。 超参数具有很好的解释性，且

>>阅读原文<<