online norm 与 MABN

MABN MABN的出发点是BN依赖于大的BatchSize。作者发现，BN对于BatchSize的依赖不仅体现在均值和方差两个统计量上，还体现在导数上。经过与Online Norm对比发现，这两个对BatchSize依赖的导数项就是导数在 1 → \overrightarrow{1} 1 和 y → \overrightarrow{y} y ​上的投影。 从这个图中可以看出，当BatchSize

>>阅读原文<<