Batch_Normalization原理理解

1、BN的作用原理 BN往往作用于卷积层之后，激活函数Relu之前，即满足：conv+BN+Relu。 BN就是调整每层卷积网络输出数据的分布，使其进入激活函数的作用区。激活函数的作用区就是指原点附近的区域，梯度弥散率低，区分率高。同时，BN会在训练过程中，自己调节数据分布，使其“更合理”地进入激活函数。 卷积后，数据输出的分布会出现下图的几种情况。当x<0时，经过激活函数，数据全部没用，当x>0

>>阅读原文<<