神经网络的归一化（Normalization）

    深度学习中的数据分布偏移：深度神经网络涉及到很多层的叠加，而每一层的参数更新会导致上层的输入数据分布发生变化，通过层层叠加，高层的输入分布变化会非常剧烈。虽然神经网络的各层的输入信号分布不同，但最终“指向“的样本标记是不变的，即边缘概率不同而条件概率一致。     为 了降低分布变化的影响，可使用归一化策略Normalization，把数据分布映射到一个确定的区间。     神经网络中，常

>>阅读原文<<