批归一化Batch Normalization学习笔记

1 Batch Normalization（BN）的作用 1.1 特征分布对神经网络训练的作用 在神经网络的训练过程中，我们一般会将输入样本特征进行归一化处理，使数据变为均值为0，标准差为1的分布或者范围在0~1的分布。因为当我们没有将数据进行归一化的话，由于样本特征分布较散，可能会导致神经网络学习速度缓慢甚至难以学习。 用2维特征的样本做例子。如下两个图 上图中样本特征的分布为椭圆，当用梯度下降

>>阅读原文<<