深度学习总结(七)——调参经验

关键词：Relu，batchnorm，dropout，adam，Learning Rate设置合理 观察loss胜于观察准确率，Loss设计要合理，对比训练集和验证集的loss； Relu可以很好的防止梯度弥散问题，当然最后一层的激活函数千万慎用relu，如果是分类的用softmax； Batchnorm可以大大加快训练速度和模型性能； Dropout防止过拟合，可直接设置为0.5，即一半一半，测

>>阅读原文<<