深度模型参数及超参数调整的经验汇总

（1）初始化 对网络的权重参数进行初始化，比如： Xavier 的uniform， normal； 一般的均匀分布，标准正态分布都可以尝试。 神经网络参数初始化及Pytorch接口 (2)Batch Normalization 加快网络收敛，如果有BN了，全连接可以考虑不加Dropout。 （3）激活函数 选择Relu， 也可以改成PReLU， GELUs等relu变形。 （4）学习率 使用学习率

>>阅读原文<<