深度学习之自适应学习率算法

前言 神经网络研究员早就意识到学习率确定是难以设置的超参数之一，由于它对模型的性能有显著的影响。损失一般高度敏感于参数空间中的某些方向，而不敏感于其余。 动量算法能够在必定程度缓解这些问题，但这样作的代价是引入了另外一个超参数。在这种状况下，天然会问有没有其余方法。若是咱们相信方向敏感度在某种程度是轴对齐的，那么每一个参数设置不一样的学习率，在整个学习过程当中自动适应这些学习率是有道理的。Delt

>>阅读原文<<