优化算法-4：学习率衰减

本文来自于网易云课堂 学习率衰减 加快学习的一个办法就是随时间慢慢减少学习率，我们称之为学习率衰减。慢慢减少学习率的原因在于，在训练的初期，你可以承受较大的步伐，但是开始收敛的时候，小的学习率能让你的步伐变小一些。 如何减少学习率呢？ 我们称一次迭代为1poch，那么让 α=11+decay−rate∗epoch−num∗α0 α = 1 1 + d e c a y − r a t e ∗ e p

>>阅读原文<<