How Does Batch Normalization Help Optimization?

1. 摘要 BN 是一个广泛应用的用于快速稳定地训练深度神经网络的技术，但是我们对其有效性的真正原因仍然所知甚少。 输入分布的稳定性和 BN 的成功之间关系很小，BN 对训练过程更根本的影响是：它让优化更加平滑。这种平滑让梯度更加可预测更加稳定，从而加速训练。 2. BN 和 internal covariate shift 在原始论文 Batch Normalization: Accelerat

>>阅读原文<<