李宏毅ML+DL学习记录:tips for training DNN

主要分成两块来讲:结果在训练集上不好 and 结果在测试集上不好 一.结果在训练集上不好: 由上图可以看出,当结果在训练集上的效果不好时,我们主要有两种方式: 1.采用adaptive learning rate(即不把lr固定成一个常数),比如adagrad 2.使用新的激活函数 1.adaptive lr 1)adagrad: 2)RMSProp(adagrad的进阶): 所以可以看出,RMS
相关文章
相关标签/搜索