卷积神经网络的调参技巧2

卷积神经网络的调参技巧2 激活函数调参技巧 1.对于稀疏数据，使用学习率自适应方法 2.随机梯度下降（SGD）,通常训练时间长，最终效果比较好，但需要好的初始化和learning_rate 3.需要训练较深复杂的网络且需要快速收敛的时候，推荐使用Adam，并且设一个比较小的学习率 4.adagrad。RMSprop，Adam是比较相近的算法。在相似的情况表现差不多。其他另外2个比Adam比较不稳定

>>阅读原文<<