【调优方法】——warmup

学习率是模型训练中最重要的超参之一，针对学习率的优化有不少种方法，而warmup是其中重要的一种。

1. 什么是warmup

warmup是一种学习率优化方法（最先出如今ResNet论文中）。在模型训练之初选用较小的学习率，训练一段时间以后（如：10epoches或10000steps）使用预设的学习率进行训练；

2. 为何使用warmup

2.1 理性分析

1. 由于模型的weights是随机初始化的，能够理解为训练之初模型对数据的“理解程度”为0（即：没有任何先验知识），在第一个epoches中，每一个batch的数据对模型来讲都是新的，模型会根据输入的数据进行快速调参，此时若是采用较大的学习率的话，有很大的可能使模型对于数据“过拟合”（“学偏”），后续须要更多的轮次才能“拉回来”；
2. 当模型训练一段时间以后（如：10epoches或10000steps），模型对数据具备必定的先验知识，此时使用较大的学习率模型就不容易学“偏”，可使用较大的学习率加速模型收敛；
3. 当模型使用较大的学习率训练一段时间以后，模型的分布相对比较稳定，此时不宜从数据中再学到新特色，若是仍使用较大的学习率会破坏模型的稳定性，而使用小学习率更容易获取local optima。

2.2 感性分析

1. 刚开始模型对数据彻底不了解，这个时候步子太大，容易扯着dan，此时须要使用小学习率摸着石头过河；
2. 对数据了解了一段时间以后，可使用大学习率朝着目标大步向前；
3. 快接近目标时，使用小学习率进行探索，此时步子太大，容易错过最近点；

3. 经常使用的warmup

3.1 Constant Warmup

学习率从很是小的数值线性增长到预设值以后保持不变，其学习率的系数以下图所示：

3.2 Linner Warmup

学习率从很是小的数值线性增长到预设值以后，而后再线性减少。其学习率的系数以下图所示。

3.3 Cosine Warmup

学习率先从很小的数值线性增长到预设学习率，而后按照cos函数值进行衰减。其学习率系数以下图所示。