深度学习中的归一化

定义 逐层归一化（Layer-wise Normalization）是将传统机器学习中的数据归一 化方法应用到深度神经网络中，对神经网络中隐藏层的输入进行归一化，从而使 得网络更容易训练。 为什么需要归一化 缓解内部协变量偏移问题【具体解释看这个】 简单来说，层层网络，各种变换，数据分布会带来很大变化， 就是每一点偏移累计起来就多了。使得高层需要很精细的训练才能适应底层。 使得输入处于不饱和区域，

>>阅读原文<<