adam相关的优化器

原文来自：https://zhuanlan.zhihu.com/p/52084949 选自medium，作者：Phúc Lê，机器之心编译，参与：高璇、王淑婷。 Adam 自出道以来，就一直是最流行的深度学习优化器，哪怕现在其实已经有几种可能更好用的优化器…… 如果将 Adam 优化出现以来产生的关于优化过程的有趣想法按时间顺序排列的话，结果如下： LR Range test + Cyclical

>>阅读原文<<