Batch_ normalization、Layer_ normalization、Weight_ normalization的异同

1、先说为什么会有BN：   我们在训练一个深度网络的时候，每一层的结果对整体结果都有很大影响的。而我们每次网络的输入都是batch_size大小的，这样做的目的是避免错误样本导致的梯度更新错误，而就是这样的batch_size个样本，他们在中间层的网络输出按道理来说应该分布是类似的，但是实际情况不是这样，他们的输出分布是乱七八糟的，网络层数越大，这种差异就越大，这就导致梯度更新方向手足无措，这个

>>阅读原文<<