Batch Normalization

整体把握 内部协变量转移（internal covariate shift）:因为前面网络层的参数发生改变,致使每层网络的输入分布在训练中会发生变化.因为分布变化因此要求较低的学习率和仔细的参数初始化,这形成有饱和非线性模型的模型训练很是困难.算法 内部协变量转移 白化 平移缩放归一化值 白化（whitened） 目的：修正层输入的均值和方差,减小梯度对参数或者初始值的依赖,容许使用较高学习率而没

>>阅读原文<<