批量归一化 Batch Normalization

批量归一化 Batch Normalization x^(k)=x(k)−E[x(k)]Var[x(k)]−−−−−−−√ x ^ ( k ) = x ( k ) − E [ x ( k ) ] V a r [ x ( k ) ] 想要单位高斯激活，那么进行批量归一化，用均值和方差来进行归一化。训练开始时才设置这个值，而不是在权重初始化的时候，以便我们能够在每一层都有很好的单位高斯分布，希望在训练

>>阅读原文<<