Batch Normalization推导过程

一、BN简介 Batch Normalization可谓深度学习的一大利器，可以大大提高训练速度，并带有正则化的效果。其能加速训练的原因是因为消除了每层输出结果中的特征偏移，例如我们在训练一个猫的检测器，如果当前batch中的猫均为白色，那么可能会导致训练过程中某一层的权重分布倾向于“颜色为白色”。然而猫有各种颜色，如果网络只拘泥于白色，会大大降低了训练速度。因此，对Batch Normaliza

>>阅读原文<<