Group Normalization

Group Normalization 批量归一化(BN)是深度学习发展中的里程碑技术，可以实现各种网络的训练。然而，沿着Batch维度进行归一化会带来一些问题–当批次规模变小时，BN的误差会迅速增加，这是Batch统计估计不准确造成的。这限制了BN在训练大型模型和将特征转移到计算机视觉任务（包括检测、分割和视频）中的使用，这些任务需要小批量的内存消耗限制。在本文中，我们提出了Group Norm

>>阅读原文<<