优化方法总结 Batch Normalization、Layer Normalization、Instance Normalization 及 Group Normalization

目录 从 Mini-Batch SGD 说起 Normalization 到底是在做什么 Batch Normalization 如何做 3.1 前向神经网络中的 BN 3.2 CNN 网络中的 BN 3.3 Batch Norm 的四大罪状 局限 1：如果 Batch Size 太小，则 BN 效果明显下降。 局限 2：对于有些像素级图片生成任务来说，BN 效果不佳； 局限 3：RNN 等动态网

>>阅读原文<<