Normalization 归一化方法 BN LN IN GN

1.分类 BN是在batch上，对N、H、W做归一化，而保留通道 C 的维度。BN对较小的batch size效果不好。BN适用于固定深度的前向神经网络，如CNN，不适用于RNN； LN在通道方向上，对C、H、W归一化，主要对RNN效果明显； IN在图像像素上，对H、W做归一化，用在风格化迁移； GN将channel分组，然后再做归一化。 2.BN 为什么要进行BN呢？ 1）在深度神经网络训练的过

>>阅读原文<<