Batch Norm、Layer Norm、Instance Norm、Group Norm、Switchable Norm总结

目录   1.综述 1. BN 2. LN 3. IN 4. GN 5. SN 2. 结论 1.综述 在入门深度学习时就深度学习中的一些概念做了一些介绍，但随着学习的不断深入，一些网络优化的技巧越来越多，才发现之前的理解的不够深入。在这里有对BN的理解，对出现的几种归一化进行一些个人理解的介绍，首先看一个直观图   归一化层，目前主要有这几个方法，Batch Normalization（2015年

>>阅读原文<<