【调优方法】——warmup

学习率是模型训练中最重要的超参之一，针对学习率的优化有不少种方法，而warmup是其中重要的一种。web 1. 什么是warmup warmup是一种学习率优化方法（最先出如今ResNet论文中）。在模型训练之初选用较小的学习率，训练一段时间以后（如：10epoches或10000steps）使用预设的学习率进行训练；svg 2. 为何使用warmup 2.1 理性分析 由于模型的weights是

>>阅读原文<<