DNN CNN RNN

1. DNN: 在训练集上性能不行: 1.梯度消失问题:有些activation function会导致这个问题,例如:后面提出了Rectified Linear Unit:ReLU,形状为_/;learnable activation function:Maxout 2.可能调整学习率来达到更好,例如Adam 在验证集上性能不行: 1.early stopping:不用等到在训练集上loss最小
相关文章
相关标签/搜索