学习率的设定

    一、一开始先设定一个很小的学习率，随着batch step 变大，当损失函数再也不降低，而是开始波动的时候，拐点处的学习率设置为初始学习率。函数     二、设定完初始学习率之后，先训练一段时间，到必定epoch后，损失开始再也不降低而是波动，此时开始衰减学习率。学习

>>阅读原文<<