【温故知新】Batch Normalization原理

本文只用作记录(摘抄)，建议看参考原文，详细得多！ 机器学习领域有个很重要的假设：IID独立同分布假设，就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。那BatchNorm的作用是什么呢？BatchNorm就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的。 Internal Covariate Shift(ICS) 对

>>阅读原文<<