Cross-Iteration Batch Normalization

Cross-Iteration Batch Normalization 批量归一化的一个众所周知的问题是，在mini-batch的情况下，它的有效性大大降低。当一个mini-batch包含很少的例子时，在训练迭代中，无法可靠地估计归一化所依据的统计数据。为了解决这个问题，我们提出了Cross-Iteration Batch Normalization(CBN)，其中来自多个最近迭代的样本被共同利用

>>阅读原文<<