深度神经网络中BN（Batch Norm）的理解

BN的启发来源 之前的研究表明在图像处理中，对输入的图像进行白化（Whiten），就是对输入数据分布变换到0 均值，单位方差的正态分布，那么神经网络就会较快收敛。在神经网络中，相对下一层来说，每一个隐层都是输入层，那么能不能对每个隐层都做白化呢？这就是启发BN产生的原初想法，可以理解为对深层神经网络每个隐层神经元的激活值做简化版本的白化操作。 本质思想 深层神经网络在做非线性变换前的激活输入值随着

>>阅读原文<<