Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

1. 摘要 训练深层的神经网络非常困难，因为在训练的过程中，随着前面层数参数的改变，每层输入的分布也会随之改变。这需要我们设置较小的学习率并且谨慎地对参数进行初始化，因此训练过程比较缓慢。 作者将这种现象称之为 internal covariate shift，通过对每层的输入进行归一化来解决这个问题。 引入 BN 后，我们可以不用太在意参数的初始化，同时使用更大的学习率，而且也会有正则化的效果，

>>阅读原文<<