学习率与动量的关系:此涨彼消,以达到动态平衡

选择适当大小的学习率和动量,太大会使loss振荡,太小不足以使loss达到最优值。 1、train_gluon_ch7(‘sgd’, {‘learning_rate’: 0.004, ‘momentum’: 0.99}, features, labels) loss: 0.301315, 0.176527 sec per epoch 2、train_gluon_ch7(‘sgd’, {‘learn
相关文章
相关标签/搜索