Batch Normalization笔记

Batch Normalization笔记 在训练深度神经网络的时候，由于前面网络层参数的变化，会使得当前层网络的输入分布发生改变，这种情况需要我们很小心的对网络参数的参数进行初始化，以及使用很小的学习率，而这就会减缓整个网络的训练速度。上面的这种状况就被称为：internal covariate shift。而为了解决这种问题，论文中就提出了一种Batch Normalization的方法。之所

>>阅读原文<<