自己对于batch_normalization和group_normalization的理解

一直懒得不整理，抱着侥幸心理觉得大脑都能记住，还是不能偷懒的, 该做的总结还是要做的，日后忘了也还可以翻翻   1、提出 normalization的原因： 首先说一下数据归一化的原因：         在神经网络学习过程中其实就是为了学习输入数据的分布，而一旦训练数据与测试数据的分布不一样，那么在测试集上的效果就会很差，即网络的泛化能力大大降低。另一方面，如果每个batch_size的训练数据的

>>阅读原文<<