MegDet: A Large Mini-Batch Object Detector

分类网络如ReseNet-50的mini-batch尺寸已经很大了，如8192或16000.但检测网络的mini-batch尺寸确很小，如2-16。小的batch尺寸有什么问题？一是训练时间长，二是无法为BN提供精确的统计信息。三是正负样本比例不平衡，如下图a-b所示。 但是直接增加batch尺寸有什么问题呢？大的batch尺寸需要比较大的学习率去保持精度，但大的学习率通常会导致无法收敛。为解决这

>>阅读原文<<