Warmup预热学习率

学习率是神经网络训练中最重要的超参数之一,针对学习率的优化方式不少,Warmup是其中的一种 (一)、什么是Warmup? Warmup是在ResNet论文中提到的一种学习率预热的方法，它在训练开始的时候先选择使用一个较小的学习率，训练了一些epoches或者steps(好比4个epoches,10000steps),再修改成预先设置的学习来进行训练。html (二)、为何使用Warmup? 因为

>>阅读原文<<