批量归一化——Batch Normalization

1.概述 在神经网络的训练中，我们有很多的参数如学习率、权重衰减系数等，我们使用随机梯度下降法等时，往往需要对这些参数不断调整，这将会花费我们大量的时间。这种情况下使用批量归一化能很好地解决这种问题。 批量归一化即通过归一化、缩放及平移使得数据变为满足或近似高斯形式的分布。我们知道在神经网络训练开始前，这是因为神经网络学习过程本质就是为了学习数据分布，一旦训练数据与测试数据的分布不同，那么网络的泛

>>阅读原文<<