Knowledge Point (KP): BN, LN, IN,GN和SN的异同

本文首先讲解BN[1]， LN[2]， IN[3]， GN[4]和SN[5]的异同，其次讲解BN为何有效的可能原因[6]。 BN、LN、IN、GN和SN的异同 参考上图： BN是在batch上，对N，H，W做归一化，对小batchsize效果不好，应优先考虑 LN在通道方向上，对C，H，W做归一化，主要用于RNN IN在图像像素上，对H， W做归一化，主要用于风格迁移， GAN GN将通道分组，然

>>阅读原文<<