经常使用的归一化（Normalization） 方法：BN、LN、IN、GN

经常使用的Normalization方法主要有：Batch Normalization（BN，2015年）、Layer Normalization（LN，2016年）、Instance Normalization（IN，2017年）、Group Normalization（GN，2018年）。它们都是从激活函数的输入来考虑、作文章的，以不一样的方式对激活函数的输入进行 Norm 的。 咱们将输入的

>>阅读原文<<