Batch normalization

传统的神经网络，只是在将样本x输入输入层之前，对x进行标准化处理（减均值，除标准差），以降低样本间的差异性。BN是在此基础上，不仅仅只对输入层的输入数据x进行标准化，还对每个隐藏层的输入进行标准化。 传统方法 Batch Normalization BN 使用（小）批计算的均值和方差对特征进行归一化，以简化优化使非常深的网络能够融合。批量统计的随机不确定性也可以作为一个正则化器，它可以适用于泛化。

>>阅读原文<<