深度学习中的批归一化Batch Normalization

传统的神经网络，只是在将样本x输入层之前对x进行标准化处理（减均值，除标准差），以降低样本间的差异性。BN是在此基础上，不仅仅只对输入层的输入数据x进行标准化，还对每个隐藏层的输入进行标准化。BN由Google于2015年提出，这是一个深度神经网络训练的技巧，它不仅可以加快了模型的收敛速度，而且更重要的是在一定程度缓解了深层网络中梯度弥散（特征分布较散）的问题，从而使得训练深层网络模型更加容易和稳

>>阅读原文<<