Batch Norm理解

BN怎么计算（训练过程） 设有BN层，即一个BN层可学习的参数有和。 对一个mini-batch，。 第一步，计算当前batch的均值和方差（对同一层的所有节点）：  ； 第二步，进行规范化：； 第三步，进行平移和缩放：. BN的推理过程（如何加速BN？） 采用在训练过程中收集的全局统计量来代替均值和方差：, . 然后将上面两部分带入到中，得到： 早期解释 《Batch Normalization

>>阅读原文<<