Batch Normalization解读

介绍 每一层的输入被之前所有层的参数影响着，所以当网络中的参数有一个很小的变化时，这个变化会随着网络的加深而变大。 covrate shift 令q1（x）表示对预测表现进行评价时，x的密度。令q0（x）表示观测数据x的密度。当q1（x）不等于q0（x）就叫做covrate shift。covrate shift 是怎么产生的呢，因为q0（x）是由采样方式决定的，q1（x）是由总体决定的，在回归分

>>阅读原文<<