Batch Normalization(BN)——批量归一化

尺度不变性 首先讲一下尺度不变性这一概念：如果一个机器学习算法在缩放全部或部分特征后不影响学习和预测，就称该算法具有尺度不变性。 神经网络具有尺度不变性，因为网络可以通过参数的调整能适应不同的尺度的特征。 数据归一化 我们看一下数据归一化，如图（a）未归一化的数据的等高线，由于数据尺度上的不同，造成大多数梯度的方向并不是最优的搜索方向。如果我们把数据归一化成相同的尺度如图（b）,那么大部分梯度的方

>>阅读原文<<