Batch Normalization

Batch Normalization Abstract 训练神经网络的过程当中，随着先前各层的参数发生变化，各层的输入分布也会发生变化。所以须要下降学习率、谨慎的进行参数初始化，所以训练速度会变慢，并且很可贵到饱和的非线性模型。这种现象被称为 internal covariate shift。BN层就是为了解决该问题。 BN层的优势： 1.能够选择较大的学习率，使得训练速度增加的很快，具备快速收

>>阅读原文<<