7.3 学习率调整策略

一、为什么要调整学习率 二、pytorch的六种学习率调整策略     前两节课学习了优化器的概念，优化器中有很多超参数，在这些参数中最重要的参数就是学习率。 我们知道学习率直接控制了参数更新的大小。在整个训练过程中，学习率也不是一成不变的，还是可以调整的。今天就来学习学习率的调整策略。     一、为什么要调整学习率 学习率直接控制参数更新的步伐。 通常在训练中，一开始学习率可以给的比较大，让参

>>阅读原文<<