BN & LN

BN和LN都是常用的归一化方法，它们的目的也都是使某一层的输出能够落在**函数比较敏感的区间内，使得梯度变大，训练速度加快，从而也能缓解梯度消失的情况。 BN是在batch这个维度上去做归一化，它使用的是一个batch中的全部数据，在相同的维度上计算均值和方差。也就是说，如果现在有一个BL的数据，我们就需要分别计算L个均值和方差。 LN是在层这个维度上去做归一化，它只使用单个样本进行计算，也就是说

>>阅读原文<<