Adam又要“退休”了？耶鲁大学团队提出AdaBelief，NeurIPS 2020收录，却引来网友质疑...

晓查 发自 凹非寺  量子位 报道 | 公众号 QbitAI 要挑战Adam地位的优化器又多了一个。 近日NeurIPS 2020收录论文提出的一个优化器，在深度学习社区成为焦点，引起广泛讨论。 这就是由耶鲁大学团队提出的AdaBelief。团队在论文中表示，该优化器兼具Adam的快速收敛特性和SGD的良好泛化性。 所谓AdaBelief，是指根据梯度方向上的“信念”（Belief）来调整训练的步

>>阅读原文<<