基于机器学习batch归一化克服深层神经网络导致难以训练的问题

covariate shift问题 机器学习中有一个经典的假设:训练数据和测试数据是满足相同分布的。这是训练数据获得的模型能够在测试集上获得好的效果的一个基本保障。 当训练集数据和测试集数据不一致的时候，训练集训练出来的模型未必能够在测试集上有好的效果，这种训练集和预测集样本分布不一致的情况就叫做covariate shift现象。 深度神经网络的中间网络层在训练过程中，中间层数据不断的改变，我们

>>阅读原文<<