Adam优化器简单理解和实现

前言：因为要实现GAN，简单理解一下训练过程需要用到的Adam优化器。 一、简单认识 Adam（自适应矩估计 Adaptive moment estimation） 翻译： 参数设定： (元素乘操作)， ：步长或称学习率（stepsize）；：矩估计的指数衰减率；：参数的随机目标函数值；：初始参数向量； ：初始第一矩向量；：第二矩向量；：时间步长； 优化过程（更新参数向量过程）： while  未

>>阅读原文<<