Adam优化器算法

  上图就是Adam算法在深度学习中更新参数时应用的详细过程，下面对一些参数进行一下说明： 1、t：更新的步数（steps） 2、：学习率，用于控制参数更新的步幅（stepsize） 3、：要求解更新的参数 4、:带有参数的目标函数，通常指损失函数 5、g：目标函数对求导的梯度 6、：一阶矩衰减系数 7、：二阶矩衰减系数 8、s：梯度g的一阶矩，即梯度g的期望 9、r：梯度g的二阶矩，即梯度的期望

>>阅读原文<<