Group Normalization

GN是针对batch normalization(BN)在batch size较小时错误率较高而提出的改进算法，因为BN层的计算结果依赖当前batch数据，当batch size较小时（比如2,4），该batch数据的均值和方差的代表性较差，这样导致的结果较差，因此对最后的结果也影响较大。而在batch size 较大时（>16）没什么差别。在分类任务一般能包含大batch，但在检测分割及视频相关

>>阅读原文<<