实验不同的学习速率

转于：https://blog.csdn.net/lqfarmer/article/details/77689148 实验不同的学习速率 学习速率是控制更新步长大小的超参数。随着学习速率的增加，振荡次数也在增加。如图2所示，随着学习速率的增加，存在很多混乱或随机噪声。图2中的所有曲线都是针对MNIST数据集训练，采用单层神经网络。 我们可以从图中推断，高学习速率更有可能使整个模型爆炸，导致数值更新

>>阅读原文<<