dropout，batch norm的使用顺序，训练和测试时的差异

batch norm和dropout都可以起到正则化的作用，防止过拟合。 dropout： dropout通俗理解就是，在神经网络训练的时候，有时因为神经元过多，模型参数过多等原因而导致过拟合，dropout以概率p让一部分神经元失活，从而达到降低过拟合的效果。如下图所示，使用dropout后，一部分神经元不参与训练。  在前向传播时，假设有这一层n个神经元，则我们可以假设每个神经元的概率都是0~

>>阅读原文<<