最优化方法系列：Adam+SGD-AMSGrad

        自动调参的Adam方法已经非常给力了，不过这主要流行于工程界，在大多数科学实验室中，模型调参依然使用了传统的SGD方法，在SGD基础上增加各类学习率的主动控制，以达到对复杂模型的精细调参，以达到刷出最高的分数。          ICLR会议的 On the convergence of Adam and Beyond 论文，对Adam算法进行了 猛烈的抨击，并提出了新的Adam算

>>阅读原文<<