随笔小计-batchnormalization

1、为什么需要BatchNormalization 网络训练开始后，参数会发生更新操作，除了输入层的数据外，后面每一层的输入数据都在发生着变化，前面层训练参数更新，后面层输入的数据分布必然变化，出现了covariate shift问题，可能会导致blow up和模型不准确的问题。 2、BatchNormalization怎么解决的 解决方法 针对一个batch的数据处理 求该batch的均值 求该

>>阅读原文<<