Lookahead

Lookahead 1 Introduction 想要在神经网络中获得更好的性能，往往需要代价高昂的超参数调节。 使用lookahead 可以改进内部优化器的收敛性，并经常提高泛化性能，同时对超参数变化鲁棒性很好，实验证明，lookahead对内循环优化器的变化，快速权值更新的次数和慢的权重学习速率具有很强的鲁棒性。 2 Method lookahead维护了一组slow weights φ和fa

>>阅读原文<<