Batch Normalization原理理解与作用

一、原始神经网络层和Internal Covariate Shift问题 在原始DNN中，隐藏层（HiddenLayer）将输入x通过系数矩阵W相乘得到线性组合z=Wx，再通过激活函数a=f(z)，得到隐藏层的输出a（X可以为输入层输入或者上一个隐藏层的输出）,具体结构如下： 图中为一个批次(batch)的样本在隐藏层的传播过程。由于批次的不断传入和训练，DNN内部参数在不断改变，导致每一次隐藏层

>>阅读原文<<